歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux基礎 >> 關於Linux >> Linux文本處理命令(sort和uniq)

Linux文本處理命令(sort和uniq)

日期:2017/3/2 9:52:45   编辑:關於Linux

Sort命令


  sort命令的功能是對文件中的各行進行排序。sort命令有許多非常實用的選項,這些選項最初是用來對數據庫格式的文件內容進行各種排序操作的。實際上,sort命令可以被認為是一個非常強大的數據管理工具,用來管理內容類似數據庫記錄的文件。

  Sort命令將逐行對文件中的內容進行排序,如果兩行的首字符相同,該命令將繼續比較這兩行的下一字符,如果還相同,將繼續進行比較。

  語法:

  sort [選項] 文件

  說明:sort命令對指定文件中所有的行進行排序,並將結果顯示在標准輸出上。如不指定輸入文件或使用“- ”,則表示排序內容來自標准輸入。

  sort排序是根據從輸入行抽取的一個或多個關鍵字進行比較來完成的。排序關鍵字定義了用來排序的最小的字符序列。缺省情況下以整行為關鍵字按ASCII字符順序進行排序。

  改變缺省設置的選項主要有:

  - m 若給定文件已排好序,合並文件。

  - c 檢查給定文件是否已排好序,如果它們沒有都排好序,則打印一個出錯信息,並以狀態值1退出。

  - u 對排序後認為相同的行只留其中一行。

  - o 輸出文件 將排序輸出寫到輸出文件中而不是標准輸出,如果輸出文件是輸入文件之一,sort先將該文件的內容寫入一個臨時文件,然後再排序和寫輸出結果。

  改變缺省排序規則的選項主要有:

  - d 按字典順序排序,比較時僅字母、數字、空格和制表符有意義。

  - f 將小寫字母與大寫字母同等對待。

  - I 忽略非打印字符。

  - M 作為月份比較:“JAN”<“FEB”


  - r 按逆序輸出排序結果。

  +posl - pos2 指定一個或幾個字段作為排序關鍵字,字段位置從posl開始,到pos2為止(包括posl,不包括pos2)。如不指定pos2,則關鍵字為從posl到行尾。字段和字符的位置從0開始。

  - b 在每行中尋找排序關鍵字時忽略前導的空白(空格和制表符)。

  - t separator 指定字符separator作為字段分隔符。

  下面通過幾個例子來講述sort的使用。

  用sort命令對text文件中各行排序後輸出其結果。請注意,在原文件的第二、三行上的第一個單詞完全相同,該命令將從它們的第二個單詞vegetables與fruit的首字符處繼續進行比較。

  $ cat text

  vegetable soup

  fresh vegetables

  fresh fruit

  lowfat milk

  $ sort text

  fresh fruit

  fresh vegetables

  lowfat milk

  vegetable soup

  用戶可以保存排序後的文件內容,或把排序後的文件內容輸出至打印機。下例中用戶把排序後的文件內容保存到名為result的文件中。

  $ sort text>result

  以第2個字段作為排序關鍵字對文件example的內容進行排序。

  $ sort +1-2 example

  對於file1和file2文件內容反向排序,結果放在outfile中,利用第2個字段的第一個字符作為排序關鍵字。

  $ sort -r -o outfile +1.0 -1.1 example

  sort排序常用於在管道中與其他命令連用,組合完成比較復雜的功能,如利用管道將當前工作目錄中的文件送給sort進行排序,排序關鍵字是第6個至第8個字段。

  $ ls - l | sort +5 - 7

  sort命令也可以對標准輸入進行操作。例如,如果您想把幾個文件文本行合並,並對合並後的文本行進行排序,您可以首先用命令cat把多個文件合並,然後用管道操作把合並後的文本行輸入給命令sort,sort命令將輸出這些合並及排序後的文本行。在下面的例子中,文件veglist與文件fruitlist的文本行經過合並與排序後被保存到文件clist中。

  $ cat veglist fruitlist | sort > clist

  uniq命令

  文件經過處理後在它的輸出文件中可能會出現重復的行。例如,使用cat命令將兩個文件合並後,再使用sort命令進行排序,就可能出現重復行。這時可以使用uniq命令將這些重復行從輸出文件中刪除,只留下每條記錄的唯一樣本。

  語法:

  uniq [選項] 文件

  說明:這個命令讀取輸入文件,並比較相鄰的行。在正常情況下,第二個及以後更多個重復行將被刪去,行比較是根據所用字符集的排序序列進行的。該命令加工後的結果寫到輸出文件中。輸入文件和輸出文件必須不同。如果輸入文件用“- ”表示,則從標准輸入讀取。

  該命令各選項含義如下:

  - c 顯示輸出中,在每行行首加上本行在文件中出現的次數。它可取代- u和- d選項。

  - d 只顯示重復行。

  - u 只顯示文件中不重復的各行。

  - n 前n個字段與每個字段前的空白一起被忽略。一個字段是一個非空格、非制表符的字符串,彼此由制表符和空格隔開(字段從0開始編號)。

  +n 前n個字符被忽略,之前的字符被跳過(字符從0開始編號)。

  - f n 與- n相同,這裡n是字段數。

  - s n 與+n相同,這裡n是字符數。

  例如:

  1. 顯示文件example中不重復的行。

  uniq - u example

  2. 顯示文件example中不重復的行,從第2個字段的第2個字符開始做比較。

  uniq - u - 1 +1 example

Copyright © Linux教程網 All Rights Reserved