如何在Linux中使用awk命令

文本處理是Unix的核心。從管道到/proc子系統，“一切都是文件”的理念貫穿於操作系統和所有基於它構造的工具。正因為如此，輕松地處理文本是一個期望成為Linux系統管理員甚至是資深用戶的最重要的技能之一，而 awk是通用編程語言之外最強大的文本處理工具之一。

最簡單的awk的任務是從標准輸入中選擇字段；如果你對awk除了這個用途之外，從來沒了解過它的其他用途，你會發現它還是會是你身邊一個非常有用的工具。

默認情況下，awk通過空格分隔輸入。如果您想選擇輸入的第一個字段，你只需要告訴awk輸出$ 1：

1. $ echo 'one two three four'| awk '{print $1}'

one

（是的，大括號語法是有點古怪，但我保證這是我們這節課一直會遇到。）

你能猜出如何選擇第二，第三或第四個字段麼？是的，分別用$2，$ 3，$ 4。

1. $ echo 'one two three four'| awk '{print $3}'

three

通常在文本改寫時，你需要創建一個特定的數據格式，並且它覆蓋不止一個單詞。好消息是，awk中可以很容易地打印多個字段，甚至包含靜態字符串：

1. $ echo 'one two three four'| awk '{print $3,$1}'

three one

1. $ echo 'one two three four'| awk '{print "foo:",$3,"| bar:",$1}'

foo: three | bar: one

好吧，如果你的輸入不是由空格分隔怎麼辦？只需用awk中的'-F'標志指定你的分隔符：

1. $ echo 'one mississippi,two mississippi,three mississippi,four mississippi'| awk -F ,'{print $4}'

four mississippi

偶爾間，你會發現自己正在處理字段數量不同的數據，但你只知道你想要的最後字段。 awk中內置的$NF變量代表字段的數量，這樣你就可以用它來抓取最後一個元素：

1. $ echo 'one two three four'| awk '{print $NF}'

four

你也可以用$NF做簡單的數學，假如你需要倒數第二個字段：

1. $ echo 'one two three four'| awk '{print $(NF-1)}'

three

甚至是中間的字段：

1. $ echo 'one two three four'| awk '{print $((NF/2)+1)}'

three

而且這一切都非常有用，同樣你可以擺脫強制使用sed，cut，和grep來得到這些結果（盡管要做更多的操作）。

因此，我將最後為你介紹awk的一個特性，維持跨行狀態。

1. $ echo -e 'one 1\ntwo 2'| awk '{print $2}'

1

2

1. $ echo -e 'one 1\ntwo 2'| awk '{sum+=$2} END {print sum}'

3

（END代表的是我們在執行完每行的處理之後只處理下面的代碼塊）

這裡我使用的例子是統計web服務器請求日志的字節大小。想象一下我們有如下這樣的日志：

1. $ cat requests.log

Jul 23 18:57:12 httpd[31950]: "GET /foo/bar HTTP/1.1" 200 344

Jul 23 18:57:13 httpd[31950]: "GET / HTTP/1.1" 200 9300

Jul 23 19:01:27 httpd[31950]: "GET / HTTP/1.1" 200 9300

Jul 23 19:01:55 httpd[31950]: "GET /foo/baz HTTP/1.1" 200 6401

Jul 23 19:02:31 httpd[31950]: "GET /foo/baz?page=2 HTTP/1.1" 200 6312

我們知道最後一個字段是響應的字節大小。我們已經學習了如何使用$NF來抽取他們：

1. $ < requests.log awk '{print $NF}'

344

9300

9300

6401

6312

接著我們可以將它們累加到一個變量中來收集我們的web服務其在日志中這段時間內的響應客戶端的字節數量

1. $ < requests.log awk '{totalBytes+=$NF} END {print totalBytes}'

31657

如果你正在尋找關於awk的更多資料，可以看看下面的連接。

AWK簡介及使用實例 http://www.linuxidc.com/Linux/2013-12/93519.htm

AWK 簡介和例子 http://www.linuxidc.com/Linux/2012-12/75441.htm

Shell腳本之AWK文本編輯器語法 http://www.linuxidc.com/Linux/2013-11/92787.htm

正則表達式中AWK的學習和使用 http://www.linuxidc.com/Linux/2013-10/91892.htm

文本數據處理之AWK 圖解 http://www.linuxidc.com/Linux/2013-09/89589.htm