shell sed過濾器詳解

shell sed過濾器詳解 1. Sed簡介 sed 是一種在線編輯器，它一次處理一行內容。處理時，把當前處理的行存儲在臨時緩沖區中，稱為“模式空間”（pattern space），接著用sed命令處理緩沖區中的內容，處理完成後，把緩沖區的內容送往屏幕。接著處理下一行，這樣不斷重復，直到文件末尾。文件內容並沒有 改變，除非你使用重定向存儲輸出。Sed主要用來自動編輯一個或多個文件；簡化對文件的反復操作；編寫轉換程序等。以下介紹的是Gnu版本的Sed 3.02。 2. 定址 可以通過定址來定位你所希望編輯的行，該地址用數字構成，用逗號分隔的兩個行數表示以這兩行為起止的行的范圍（包括行數表示的 那兩行）。如1，3表示1，2，3行，美元符號($)表示最後一行。范圍可以通過數據，正則表達式或者二者結合的方式確定。 3. Sed命令 調用sed命令有兩種形式： * sed [options] 'command' file(s) * sed [options] -f scriptfile file(s) a\ 在當前行後面加入一行文本。 b lable 分支到腳本中帶有標記的地方，如果分支不存在則分支到腳本的末尾。 c\ 用新的文本改變本行的文本。 d 從模板塊（Pattern space）位置刪除行。 D 刪除模板塊的第一行。 i\ 在當前行上面插入文本。 h 拷貝模板塊的內容到內存中的緩沖區。 H 追加模板塊的內容到內存中的緩沖區 g 獲得內存緩沖區的內容，並替代當前模板塊中的文本。 G 獲得內存緩沖區的內容，並追加到當前模板塊文本的後面。 l 列表不能打印字符的清單。 n 讀取下一個輸入行，用下一個命令處理新的行而不是用第一個命令。 N 追加下一個輸入行到模板塊後面並在二者間嵌入一個新行，改變當前行號碼。 p 打印模板塊的行。 P（大寫） 打印模板塊的第一行。 q 退出Sed。 r file 從file中讀行。 t label if分支，從最後一行開始，條件一旦滿足或者T，t命令，將導致分支到帶有標號的命令處，或者到腳本的末尾。 T label 錯誤分支，從最後一行開始，一旦發生錯誤或者T，t命令，將導致分支到帶有標號的命令處，或者到腳本的末尾。 w file 寫並追加模板塊到file末尾。 W file 寫並追加模板塊的第一行到file末尾。 ! 表示後面的命令對所有沒有被選定的行發生作用。 s/re/string 用string替換正則表達式re。 = 打印當前行號碼。 # 把注釋擴展到下一個換行符以前。 以下的是替換標記 * g表示行內全面替換。 * p表示打印行。 * w表示把行寫入一個文件。 * x表示互換模板塊中的文本和緩沖區中的文本。 * y表示把一個字符翻譯為另外的字符（但是不用於正則表達式） （可以轉換字母大小寫，但tr更方便） 4. 選項 -e command, --expression=command 允許多台編輯。 -h, --help 打印幫助，並顯示bug列表的地址。 -n, --quiet, --silent 取消默認輸出。 -f, --filer=script-file 引導sed腳本文件名。 -V, --version 打印版本和版權信息。 5. 元字符集^ 錨定行的開始如：/^sed/匹配所有以sed開頭的行。 $ 錨定行的結束 如：/sed$/匹配所有以sed結尾的行。 . 匹配一個非換行符的字符 如：/s.d/匹配s後接一個任意字符，然後是d。 * 匹配零或多個字符 如：，love這成**love**。 \< 錨定單詞的開始，如:/\<love/匹配包含以love開頭的單詞的行。 \> 錨定單詞的結束，如/love\>/匹配包含以love結尾的單詞的行。 x\{m\} 重復字符x，m次，如：/0\{5\}/匹配包含5個o的行。 x\{m,\} 重復字符x,至少m次，如：/o\{5,\}/匹配至少有5個o的行。 x\{m,n\} 重復字符x，至少m次，不多於n次，如：/o\{5,10\}/匹配5--10個o的行。 6. 實例 刪除：d命令 * $ sed '2d' example-----刪除example文件的第二行。 * $ sed '2,$d' example-----刪除example文件的第二行到末尾所有行。 * $ sed '$d' example-----刪除example文件的最後一行。 * $ sed '/test/'d example-----刪除example文件所有包含test的行。 替換：s命令 * $ sed 's/test/mytest/g' example-----在整行范圍內把test替換為mytest。如果沒有g標記，則只有每行第一個匹配的test被替換成mytest。 * $ sed -n 's/^test/mytest/p' example-----(-n)選項和p標志一起使用表示只打印那些發生替換的行。也就是說，如果某一行開頭的test被替換成mytest，就打印 它。 * $ sed 's/^192.168.0.1/&localhost/' example-----&符號表示替換換字符串中被找到的部份。所有以192.168.0.1開頭的行都會被替換成它自已加 localhost，變成192.168.0.1localhost。 * $ sed -n 's/\(love\)able/\1rs/p' example-----love被標記為1，所有loveable會被替換成lovers，而且替換的行會被打印出來。 * $ sed 's#10#100#g' example-----不論什麼字符，緊跟著s命令的都被認為是新的分隔符，所以，“#”在這裡是分隔符，代替了默認的“/”分隔符。表示把所有10替 換成100。 選定行的范圍：逗號 * $ sed -n '/test/,/check/p' example-----所有在模板test和check所確定的范圍內的行都被打印。 * $ sed -n '5,/^test/p' example-----打印從第五行開始到第一個包含以test開始的行之間的所有行。 * $ sed '/test/,/check/s/$/sed test/' example-----對於模板test和west之間的行，每行的末尾用字符串sed test替換。 多點編輯：e命令 * $ sed -e '1,5d' -e 's/test/check/' example-----(-e)選項允許在同一行裡執行多條命令。如例子所示，第一條命令刪除1至5行，第二條命令用check替換test。命令的執 行順序對結果有影響。如果兩個命令都是替換命令，那麼第一個替換命令將影響第二個替換命令的結果。 * $ sed --expression='s/test/check/' --expression='/love/d' example-----一個比-e更好的命令是--expression。它能給sed表達式賦值。 從文件讀入：r命令 * $ sed '/test/r file' example-----file裡的內容被讀進來，顯示在與test匹配的行後面，如果匹配多行，則file的內容將顯示在所有匹配行的下面。 寫入文件：w命令 * $ sed -n '/test/w file' example-----在example中所有包含test的行都被寫入file裡。 追加命令：a命令 * $ sed '/^test/a\\--->this is a example' example<-----'this is a example'被追加到以test開頭的行後面，sed要求命令a後面有一個反斜槓。 插入：i命令 $ sed '/test/i\\ new line -------------------------' example 如果test被匹配，則把反斜槓後面的文本插入到匹配行的前面。 下一個：n命令 * $ sed '/test/{ n; s/aa/bb/; }' example-----如果test被匹配，則移動到匹配行的下一行，替換這一行的aa，變為bb，並打印該行，然後繼續。 變形：y命令 * $ sed '1,10y/abcde/ABCDE/' example-----把1--10行內所有abcde轉變為大寫，注意，正則表達式元字符不能使用這個 命令。 退出：q命令 * $ sed '10q' example-----打印完第10行後，退出sed。 保持和獲取：h命令和G命令 * $ sed -e '/test/h' -e '$G example-----在sed處理文件的時候，每一行都被保存在一個叫模式空間的臨時緩沖區中，除非行被刪除或者輸出被取消，否則所有被處理的行都將 打印在屏幕上。接著模式空間被清空，並存入新的一行等待處理。在這個例子裡，匹配test的行被找到後，將存入模式空間，h命令將其復制並存入一個稱為保 持緩存區的特殊緩沖區內。第二條語句的意思是，當到達最後一行後，G命令取出保持緩沖區的行，然後把它放回模式空間中，且追加到現在已經存在於模式空間中 的行的末尾。在這個例子中就是追加到最後一行。簡單來說，任何包含test的行都被復制並追加到該文件的末尾。 保持和互換：h命令和x命令 * $ sed -e '/test/h' -e '/check/x' example -----互換模式空間和保持緩沖區的內容。也就是把包含test與check的行互換。 7. 腳本 Sed腳本是一個sed的命令清單，啟動Sed時以-f選項引導腳本文件名。Sed對於腳本中輸入的命令非常挑剔，在命令的末 尾不能有任何空白或文本，如果在一行中有多個命令，要用分號分隔。以#開頭的行為注釋行，且不能跨行。 =================== linux tr 命令詳解(轉換字母大小寫更方便) 1、關於tr 通過使用 tr，您可以非常容易地實現 sed 的許多最基本功能。您可以將 tr 看作為 sed 的（極其）簡化的變體：它可以用一個字符來替換另一個字符，或者可以完全除去一些字符。您也可以用它來除去重復字符。這就是所有 tr 所能夠做的。 tr用來從標准輸入中通過替換或刪除操作進行字符轉換。tr主要用於刪除文件中控制字符或進行字符轉換。使用tr時要轉換兩個字符串：字符串1用於查詢， 字符串2用於處理各種轉換。tr剛執行時，字符串1中的字符被映射到字符串2中的字符，然後轉換操作開始。 帶有最常用選項的tr命令格式為： tr -c -d -s ["string1_to_translate_from"] ["string2_to_translate_to"] < input-file 這裡： -c 用字符串1中字符集的補集替換此字符集，要求字符集為ASCII。 -d 刪除字符串1中所有輸入字符。 -s 刪除所有重復出現字符序列，只保留第一個；即將重復出現字符串壓縮為一個字符串。 input-file是轉換文件名。雖然可以使用其他格式輸入，但這種格式最常用。 2、字符范圍 指定字符串1或字符串2的內容時，只能使用單字符或字符串范圍或列表。 [a-z] a-z內的字符組成的字符串。 [A-Z] A-Z內的字符組成的字符串。 [0-9] 數字串。 \octal 一個三位的八進制數，對應有效的ASCII字符。 [O*n] 表示字符O重復出現指定次數n。因此[O*2]匹配OO的字符串。 tr中特定控制字符的不同表達方式 速記符含義八進制方式 \a Ctrl-G 鈴聲\007 \b Ctrl-H 退格符\010 \f Ctrl-L 走行換頁\014 \n Ctrl-J 新行\012 \r Ctrl-M 回車\015 \t Ctrl-I tab鍵\011 \v Ctrl-X \030 3、應用例子 （1）去除oops.txt裡面的重復的小寫字符 tr -s "[a-z]"<oops.txt >result.txt （2）刪除空行 tr -s "[\012]" < plan.txt 或 tr -s ["\n"] < plan.txt （3）有時需要刪除文件中的^M，並代之以換行 tr -s "[\015]" "[\n]" < file 或 tr -s "[\r]" "[\n]" < file （4）大寫到小寫 cat a.txt |tr "[a-z]" "[A-Z]" >b.txt （5）刪除指定字符 一個星期的日程表。任務是從其中刪除所有數字，只保留日期。日期有大寫，也有小寫格式。因此需指定兩個字符范圍[a-z]和[A-Z]，命令tr -cs "[a-z][A-Z]" "[\012*]" 將文件每行所有不包含在[a-z]或[A-Z]（所有希臘字母）的字符串放在字符串1中並轉換為一新行。-s選項表明壓縮所有新行， -c表明保留所有字母不動。原文件如下，後跟tr命令： tr -cs "[a-z][A-Z]" "[\012*]" <diary.txt （6）轉換控制字符 tr的第一個功能就是轉換控制字符，特別是從dos向UNIX下載文件時，忘記設置ftp關於回車換行轉換的選項時更是如此。cat -v filename 顯示控制字符。 cat -v stat.txt box aa^^^^^12^M apple bbas^^^^23^M ^Z 猜想‘^ ^ ^ ^ ^ ^’是tab鍵。每一行以Ctrl-M結尾，文件結尾Ctrl-Z，以下是改動方法。 使用-s選項，查看ASCII表。^的八進制代碼是136，^M是015，tab鍵是011，^Z是032 ,下面將按步驟完成最終功能。 用tab鍵替換^ ^ ^ ^ ^ ^，命令為"\136" "[\011*]"。將結果重定向到臨時工作文件stat.tmp tr -s "[\136]" "[\011*]" <stat.txt >stat.tmp 用新行替換每行末尾的^M，並用\n去除^Z，輸入要來自於臨時工作文件stat.tmp。 tr -s "[\015][\032]" "\n" <stat.tmp 要刪除所有的tab鍵，代之以空格，使用命令 tr -s "[\011]" "[\040*]" <input.file （7）替換passwd文件中所有冒號，代之以tab鍵，可以增加可讀性 tr -s "[:]" "[\011]" < /etc/passwd 或 tr -s "[:]" "[\t]" < /etc/passwd （8）使路徑具有可讀性 如果用 echo $PATH 或者 echo $LD_LIBRARY_PATH 等類似的命令來顯示路徑信息的話，我們看到的將會是一大堆用冒號連接在一起的路徑， tr命令可以把這些冒號轉換為回車，這樣，這些路徑就具有很好的可讀性了 echo $PATH | tr ":" "\n" （9）可以在vi內使用所有這些命令！只要記住：在tr命令前要加上您希望處理的行范圍和感歎號 （！），如 1,$!tr -d '\t'（美元符號表示最後一行）。 （10）另外，當有人給您發送了一個在 Mac OS 或 DOS/Windows 機器上創建的文本文件時，您會發現tr非常有用。 如果沒有將文件保存為使用 UNIX 換行符來表示行結束這種格式，則需要將這樣的文件轉換成本機 UNIX 格式，否則一些命令實用程序不會正確地處理這些文件。Mac OS 的行尾以回車字符(\r)結束，許多文本處理工具將這樣的文件作為一行來處理。為了糾正這個問題，可以用下列技巧： Mac -> UNIX：tr "\r" "\n"<macfile > unixfile UNIX -> Mac：tr "\n" "\r"<unixfile > macfile Microsoft DOS/Windows 約定，文本的每行以回車字符(\r)並後跟換行符(\n)結束。為了糾正這個問題，可以使用下列命令： DOS -> UNIX：tr -d "\r"<dosfile > unixfile UNIX -> DOS：在這種情況下，需要用awk，因為tr不能插入兩個字符來替換一個字符。要使用的 awk 命令為 awk '{ print $0"\r" }'<unixfile > dosfile 注：都可以用sed 來完成。