1.取出linux中eth0的IP地址
[root@localhost ~]# ifconfig eth0 |awk -F '[ :]+' 'NR==2 {print $4}'
192.168.1.8
說明： "+"為正則表達式模式匹配至少重復一次。
2.統計文件中所有行單詞出現的次數
[root@localhost ~]# awk '
>{for(i=1;i<=NF;i++)
>{count[$i]++}}
>END{for(j in count)
>{print j,count[j]}}' /etc/init.d/functions
3.統計文件中每行的單詞出現的次數
[root@localhost ~]# awk '
>{for(i=1;i<=NF;i++)
>{count[$i]++};
>for(j in count)
>print j,count[j];
>delete count}' /etc/init.d/functions
4.統計當前系統上所有tcp連接的各種狀態數
[root@localhost ~]# ss -tan | awk '!/^State/{state[$1]++}END{for(i in state)print i,state[i]}'
ESTAB 1
LISTEN 4
5.統計制定的web訪問日志中各ip的訪問資源次數
[root@localhost ~]# awk '{ip[$1]++}END{for(i in ip) print i,ip[i]}' /var/log/httpd/access_log
192.168.1.101 3
192.168.1.6 297
6.Nginx日志分析
1）統計日志中訪問最多的10個IP
思路：對第一列進行去重，並輸出出現的次數
方法1：
$ awk '{a[$1]++}END{for(i in a)print a[i],i|"sort -k1 -nr|head -n10"}' access.log
方法2：
$ awk '{print $1}' access.log |sort |uniq -c |sort -k1 -nr |head -n10
說明：a[$1]++ 創建數組a，以第一列作為下標，使用運算符++作為數組元素，元素初始值為0。處理一個IP時，下標是IP，元素加1，處理第二個IP時，下標是IP，元素加1，如果這個IP已經存在，則元素再加1，也就是這個IP出現了兩次，元素結果是2，以此類推。因此可以實現去重，統計出現次數。
2）統計日志中訪問大於100次的IP
方法1：
$ awk '{a[$1]++}END{for(i in a){if(a[i]>100)print i,a[i]}}' access.log
方法2：
$ awk '{a[$1]++;if(a[$1]>100){b[$1]++}}END{for(i in b){print i,a[i]}}' access.log
說明：方法1是將結果保存a數組後，輸出時判斷符合要求的IP。方法2是將結果保存a數組時，並判斷符合要求的IP放到b數組，最後打印b數組的IP。
3）統計2016年4月9日一天內訪問最多的10個IP
思路：先過濾出這個時間段的日志，然後去重，統計出現次數
方法1：
$ awk '$4>="[9/Apr/2016:00:00:01" && $4<="[9/Apr/2016:23:59:59" {a[$1]++}\
END{for(i in a)print a[i],i|"sort -k1 -nr|head -n10"}' access.log
方法2：
$ sed -n '/\[9\/Apr\/2016:00:00:01/,/\[9\/Apr\/2016:23:59:59/p'\ access.log |sort |uniq -c |sort -k1 -nr |head -n10 #前提開始時間與結束時間日志中必須存在
4）統計當前時間前一分鐘的訪問數
思路：先獲取當前時間前一分鐘對應日志格式的時間，再匹配統計
$ date=$(date -d '-1 minute' +%d/%b/%Y:%H:%M);awk -vdate=$date '$0~date{c++}END{print c}' access.log
$ date=$(date -d '-1 minute' +%d/%b/%Y:%H:%M);awk -vdate=$date\
'$4>="["date":00" && $4<="["date":59"{c++}END{print c}' access.log
$ grep -c $(date -d '-1 minute' +%d/%b/%Y:%H:%M) access.log
說明：date +%d/%b/%Y:%H:%M --> 09/Apr/2016:01:55
5）統計訪問最多的前10個頁面（$request）
$ awk '{a[$7]++}END{for(i in a)print a[i],i|"sort -k1 -nr|head -n10"}' access.log
6）統計每個URL訪問內容的總大小（$bodybytessent）
$ awk '{a[$7]++;size[$7]+=$10}END{for(i in a)print a[i],size[i],i}' access.log
7）統計每個IP訪問狀態碼數量（$status）
$ awk '{a[$1" "$9]++}END{for(i in a)print i,a[i]}' access.log
8）統計訪問狀態碼為404的IP及出現次數
$ awk '{if($9~/404/)a[$1" "$9]++}END{for(i in a)print i,a[i]}' access.log
7.只處理用戶ID為奇數的行，並打印用戶名和ID號
# awk -F: '{if($3%2 == 0) next;print $1,$3}' /etc/passwd
8.顯示系統的普通用戶，並打印用戶及ID
# awk -F: '{if($3>=500)print $1,$3}' /etc/passwd
9.顯示系統用戶是“/bin/bash"的用戶，並打印用戶名
# awk -F: '{if($NF== "/bin/bash")print $1}' /etc/passwd
10.統計普通用戶的個數
# awk -F: -v sum=0 '{if($3>=500) sum++}END{print sum}' /etc/passwd
11.統計文本的總行數
# awk 'END{print NR}' /etc/passwd
12.利用awk顯示文件名
# awk 'END{print FILENAME}' /etc/fstab
13.格式化輸出統計數據
# awk -F: '{printf "username= %s UID:%d\n",$1,$3}' /etc/passwd
14.只顯示ID為1000的用戶的相關信息
# awk -F: '$3=="1000" {print $0}' /etc/passwd
mageedu:x:1000:1000:mageedu:/home/mageedu:/bin/bash
# awk -F: '$3=="1000" {print $1,$3,$NF}' /etc/passwd
mageedu 1000 /bin/bash
15.查找“root”關鍵字的行
# awk '/[Rr]oot/' /etc/passwd
16.利用awk模擬tail -1 的效果
# awk 'END{ print }' /etc/passwd
17.打印一個表頭，並且打印用戶名和ID
# awk -F: 'BEGIN{print "Name\t\tID\n--------"} {print $1"\t\t"$3}' /etc/passwd
18.打印一個表頭和表尾，並打印用戶名，ID，及shell
# awk -F: 'BEGIN{print "username ID shell"}{printf "%-20s%-10s%-10s\n",$1,$3,$7}\
END{print "-----end of report-----"}' /etc/passwd
19.對文本中的字段進行字符個數統計
# awk '/^[[:space:]]*linux16/{i=1;while(i<=NF){print $i,length($i);i++}}' /etc/grub2.cfg
20.打印字符個數大於等於8的字段
# awk -F: '{i=1;while(i<=NF){if(length($i)>=8){print $i};i++}}' /etc/passwd
21.統計系統中shell的類型，並打印shell引用的次數
# awk -F: '$NF!~/^$/{BASH[$NF]++}END{for(A in BASH){printf "%15s:%i\n" ,A,BASH[A]}}' /etc/passwd
22.統計fstab文件中，各文件系統被引用的次數
# awk '/^UUID/{filesystem[$3]++}END{for (i in filesystem) {print i,filesystem[i]}}' /etc/fstab
23.統計正與系統建立連接的IP地址（ESTABLISHED),並統計建立連接的連接數量
# netstat -tn | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++}END{for(i in count)print i,count[i]}'
# netstat -tan | awk '{print $5}' | sort -n | cut -d: -f1 | uniq -c | sort -n
24.將文本的重復行去掉
# awk '!a[$0]++' FILE $ awk '{if($9~/404/)a[$1" "$9]++}END{for(i in a)print i,a[i]}' access.log
25.打印偶數行
$ seq 1 5 |awk '!(i=!i)' $ seq 1 5 |awk 'NR%2==0'
26.打印奇數行
$ seq 1 5 |awk 'i=!i' $ seq 1 5 |awk 'NR%2!=0'
27.打印九九乘法表
[root@localhost ~]# awk '
>BEGIN{for(n=0;n++<9;)
>{for(i=0;i++<n;)
>printf i"x"n"="i*n" ";print ""}}'
1x1=1
1x2=2 2x2=4
1x3=3 2x3=6 3x3=9
1x4=4 2x4=8 3x4=12 4x4=16
1x5=5 2x5=10 3x5=15 4x5=20 5x5=25
1x6=6 2x6=12 3x6=18 4x6=24 5x6=30 6x6=36
1x7=7 2x7=14 3x7=21 4x7=28 5x7=35 6x7=42 7x7=49
1x8=8 2x8=16 3x8=24 4x8=32 5x8=40 6x8=48 7x8=56 8x8=64
1x9=9 2x9=18 3x9=27 4x9=36 5x9=45 6x9=54 7x9=63 8x9=72 9x9=81
28.刪除重復行
[root@localhost ~]# awk '!a[$0]++' num #!優先級高於++
29.找出兩個文件相同的行
[root@localhost ~]# awk 'FNR==NR{a[$0];next}($0 in a)' num num1
