歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux基礎 >> Linux教程 >> Linux文件合並去除重復

Linux文件合並去除重復

日期:2017/2/28 16:22:33   编辑:Linux教程

第一:兩個文件的交集,並集
前提條件:每個文件中不得有重復行
1. 取出兩個文件的並集(重復的行只保留一份)
2. 取出兩個文件的交集(只留下同時存在於兩個文件中的文件)
3. 刪除交集,留下其他的行
1. cat file1 file2 | sort | uniq > file3
2. cat file1 file2 | sort | uniq -d > file3
3. cat file1 file2 | sort | uniq -u > file3

第二:兩個文件合並
一個文件在上,一個文件在下
cat file1 file2 > file3
一個文件在左,一個文件在右
paste file1 file2 > file3

第三:一個文件去掉重復的行:
sort file |uniq
注意:重復的多行記為一行,也就是說這些重復的行還在,只是全部省略為一行!
sort file |uniq -u
上面的命令可以把重復的行全部去掉,也就是文件中的非重復行!
具體細節可以查看,cat,sort,uniq等命令的詳細介紹

Copyright © Linux教程網 All Rights Reserved