awk-基本語法知識

awk 是一門語言，這當之無愧！awk 除了簡單的文本處理功能，awk具有計算機語言所特有的性質，例如變量、判斷、循環、甚至數組。 簡單的功能： awk 處理文本時，將文本分成一條一條的記錄，awk允許通過匹配代碼（正則）匹配記錄；每條記錄都包含多個字段，awk可以修改字段分隔符來靈活的隔開字段。它提供了（$0，$1...）訪問各個字段。

awk 常被用於處理字段。所謂字段，就是文本文件中，每一行分成許多列，列與列之間用特定的字符隔開。

awk 命令分三部分： awk 本身 、 awk要執行的命令內容 、awk的輸入文件。 awk 執行命令時，依次讀取每一行，將命令應用到每一行。 - print 和 print $0 行為完全相同，都是打印一整行！ -F 參數設置的是awk的初始化變量FS，FS控制著awk的字段分隔符，默認情況下是空白字符。 awk 支持設置多個字段分隔符，甚至用正則表達式來設置。 eg. awk -F"[\t ]+" // 表示此分隔符匹配一個或多個制表符或空格符 awk讀取標准輸入。 AWK的代碼結構： awk默認對每一個輸入行執行一段代碼塊。 awk的運行可看成3部分：處理輸入前的初始化（BEGIN{}代碼塊）、處理輸入過程（{}代碼塊集合）、處理完所有輸入後的掃尾工作（END{}代碼塊）。 BEGIN代碼塊，主要完成awk部分參數的初始化操作！ 核心處理輸入的過程：執行體 END代碼塊，是在所有輸入都處理完成後awk才去運行的代碼！ - BEGIN 代碼塊 格式：BEGIN標簽加上{}。 在這個代碼塊中完成一些變量的初始化操作，只在初始化時被運行一次。 eg. awk定義FS變量為字段分隔符，在命令行 -F參數用於指定字段分割符，在BEGIN代碼段中這樣寫： fs.awk // awk 腳本，-f 參數引用腳本到awk命令中

1. BEGIN{
2. FS=":" // 將冒號賦給FS變量，改變字段分隔符
3. }
4. {
5. print "USER: " $1 "\tSHELL: " $7
6. }

1. head -n10 /etc/passwd |awk -f fs.awk

還可以在命令行直接初始化：

1. awk 'BEGIN{FS=":"}{print "USER: " $1 "\tSHELL: " $7}'

-F 和 FS 都可以改變字段分隔符，FS適用於awk腳本比較復雜的時候. - END 代碼塊： 格式： END{} 所有輸入處理完成後才去執行！僅僅執行一次！ END代碼塊中，awk腳本可以執行一些類似於統計數據、打印輸出之類的操作。 eg. search.awk

1. BEGIN{ # 初始化信息，便於閱讀
2. print "How many prople with nologin?"
3. }
4. /nologin/{++adder} # 核心awk處理過程
5. END{ # 掃尾工作，打印結果
6. print "'nologin' appears " adder " times."
7. }

1. awk -f search.awk /etc/passwd

- awk的模式匹配 針對BEGIN和END之間的第二部分的核心處理過程而言，只對匹配上的數據做處理！ 語法： /正則表達式/ {匹配後的操作} awk首先用正則表達式去匹配數據記錄，如果匹配上，才執行後面{}內的操作。 eg.1

1. awk '/^$/{print "This is an empty line."}'/etc/inittab # 匹配空行一次執行一次輸出

eg.2 shell_recorder.wak

1. BEGIN{
2. print "SHELL USAGE:"
3. }
4. /bash/{++bash} //
5. /nologin/{++nologin}
6. END{
7. print "We have " bash " bash users."
8. print "We have " nologin " nologin users."
9. }

1. awk -f shell_recorder.awk /etc/passwd

awk變量 有兩種： 用戶自定義變量 、內建變量 - awk和絕大多數腳本語言一樣，變量使用無需先聲明，awk會在第一次使用該變量的時候自動建立變量。 - awk的變量建立時初始值都是空字符串，但是在需要數值時，它會被視為0。即awk會自動將字符串轉換為數值進行計算。 在這一點上，awk的行為和shell腳本是一樣的。大多數腳本是語言的行為都是這樣：變量值存儲字符串，當需要時再轉換為為其他類型。 命名規則： awk的變量名必須以ASCII字母或下劃線開始，然後選擇性的接上字母、數字、下劃線。 - 如果用正則表達式來匹配變量名的話，awk的變量名必須匹配[A-Za-z_][A-Za-z_0-9]* 命名建議： 局部變量小寫，全局變量第一個字母大寫，內建變量全部大寫 awk 的常見內建變量 F-field字段，域 R-record記錄 S-sign符號 N-number數字 變量 說明 FILENAME 當前輸入文件的名稱 FNR 當前輸入文件的記錄數 NR 工作中的記錄數（行數） NF 一條記錄的字段數（列數） FS 字段分隔符（支持正則），默認空格 OFS 輸出字段分隔符 RS 輸入記錄分隔符，默認換行 ORS 輸出記錄分隔符
awk數組 和awk變量一樣，無需聲明就能使用。 命名規則：和變量名的命名規則相同：[a-zA-Z_][a-zA-Z_0-9]* 數組元素的引用： awk支持在數組名之後，以方括號將任意數字或字符串表達式擴起來作為引用數組的下標（索引）。其他語言要求數組的下標必須是數字。 eg. site[google] = "http://www.google.com" site[yahoo] = "http://yahoo.com" （類似於鍵值對的形式，key是下標，value是數組元素） awk這種能以任意值作為數組的索引（下標）的數組，稱為關聯數組，因為他們的名稱是與值相關聯的。 - awk 支持數組的查找、插入、刪除操作。 - awk數組的存儲空間在引用新元素時會自動增長。 - awk數組的存儲空間是稀疏的，插入了第一個元素array[1]後，可直接插入array[1000],不用填滿2-999之間的數組元素。 - awk數組的元素值可以為任意類型，無類型限制。 總計：awk數組更像是一系列鍵值對的集合,只不過打上了數組的標簽。 數組的元素的刪除： delete array[index] //刪除數組的某一個元素 delete array //刪除數組所有元素 系統環境變量 awk支持訪問linux系統環境變量，通過ENVIRON數組 eg. awk 'BEGIN{print ENVIRON["HOME"]; print ENVIRON["PATH"]}' // 有兩個索引是：ENVIRON["HOME"]、ENVIRON["HOME"]。 awk在啟動時會從系統讀取環境變量對數組ENVIRON進行初始化，可以對這個數組進行加入、刪除以及修改。 算術運算和運算符 - 算術運算 awk中直接進行算術運算， 支持直接進行算術運算的運算符只有： +(加) -（減） *（乘） /（除） %（取模、求余） ^（冪次方）， 例如：

1. awk 'BEGIN {print "(3+2)*7=" (3+2)*7}'
2. (3+2)*7=35
3. awk 'BEGIN {print "3^10=" 3^10}'
4. 3^10=59049

% 是取模運算，表達式 x%y 中，運算結果是x%y的余數。當x能被y整除時，結果為0。 例如：判斷閏年 year.txt

1. 1936圖靈提出人類歷史上第一個人工智能的概念
2. 1946世界上第一台計算機"埃尼阿克(ENIAC)"在美國賓西法尼亞大學誕生
3. 1956第二代計算機產生
4. 1969Ken.ThompsoDernis.Ritchie發布第一版Unix
5. 1979 AT&T從各大學收回Unix版權，此後誕生了System V 和 BSD 兩個版本線的Unix操作系統
6. 1983RichardStallman創建GNU(GNU is not Unix.),1983-1991年GNU三大軟件:Bash shell、gcc、emacs.
7. 1991LinusTorvalds發布Linux內核
8. 1994Lins加入GNU,GNU系列軟件與Linux內核結合，退出linus's minix，簡稱Linux.

leap.awk

1. # awk 腳本求閏年
2. BEGIN {
3. print "Pick leap years:"
4. }
5. {
6. # $1為記錄的第一個字段
7. year=$1
8. if(( year %4==0&& year %100!=0)||year %400==0)
9. print year "is a leap year."
10. else
11. print year "is not a leap year."
12. }
13. END {
14. print "Checking is over."
15. }

awk -f leap.awk year.txt

1. Pick leap years:
2. 1936is a leap year.
3. 1946is not a leap year.
4. 1956is a leap year.
5. 1969is not a leap year.
6. 1979is not a leap year.
7. 1983is not a leap year.
8. 1991is not a leap year.
9. 1994is not a leap year.
10. 1995is not a leap year.
11. 2016is a leap year.
12. Checking is over.

- awk運算符

1. =+=-=*=/=^=**= 賦值 # **= 等價於^=
2. ?: c條件表達式 # 三目運算符，用法：x>y?x:y 若x>y,則返回x，否則，返回y
3. || 邏輯或
4. && 邏輯與
5. ~ ~! 匹配正則表達式不匹配正則表達式
6. <<=>>=!=== 關系運算符
7. 空格 連接
8. +- 加減
9. */% 乘除求余
10. ^ 求冪
11. ++-- 自加自減
12. $ 引用字段
13. in 數組成員
14. +-! 一元加、減和邏輯非

Linux常用命令之awk http://www.linuxidc.com/Linux/2016-09/135046.htm

Linux系統之文本格式化工具awk http://www.linuxidc.com/Linux/2016-02/128150.htm

AWK簡介及使用實例 http://www.linuxidc.com/Linux/2013-12/93519.htm

Linux awk文本分析工具 http://www.linuxidc.com/Linux/2015-12/126217.htm

Linux文本處理工具之awk http://www.linuxidc.com/Linux/2015-01/111437.htm

如何在Linux中使用awk命令 http://www.linuxidc.com/Linux/2014-10/107542.htm

文本分析工具-awk http://www.linuxidc.com/Linux/2014-12/110939.htm

AWK入門基礎教程 http://www.linuxidc.com/Linux/2016-12/138138.htm

使用awk格式化輸出文本 http://www.linuxidc.com/Linux/2016-04/130193.htm