純手工玩轉Nginx日志

Nginx 日志相關配置有 2 個地方：access_log 和 log_format 。

默認的格式：

access_log /data/logs/nginx-access.log;

log_format old '$remote_addr [$time_local] $status $request_time $body_bytes_sent '
'"$request" "$http_referer" "$http_user_agent"';

相信大部分用過 Nginx 的人對默認 Nginx 日志格式配置都很熟悉，對日志的內容也很熟悉。但是默認配置和格式雖然可讀，但是難以計算。

Nginx 日志刷盤相關策略可配置：

比如，設置 buffer，buffer 滿 32k 才刷盤；假如 buffer 不滿 5s 鐘強制刷盤的配置如下：

access_log /data/logs/nginx-access.log buffer=32k flush=5s;

這決定了是否實時看到日志以及日志對磁盤 IO 的影響。

Nginx 日志能夠記錄的變量還有很多沒出現在默認配置中：

比如：

請求數據大小：$request_length
返回數據大小：$bytes_sent
請求耗時：$request_time
所用連接序號：$connection
當前連接發生請求數：$connection_requests

Nginx 的默認格式不可計算，需要想辦法轉換成可計算格式，比如用控制字符 ^A (Mac 下 ctrl+v ctrl+a 打出)分割每個字段。

log_format 的格式可以變成這樣：

log_format new '$remote_addr^A$http_x_forwarded_for^A$host^A$time_local^A$status^A'
'$request_time^A$request_length^A$bytes_sent^A$http_referer^A$request^A$http_user_agent';

這樣之後就通過常見的 Linux 命令行工具進行分析了：

• 查找訪問頻率最高的 URL 和次數：

  cat access.log | awk -F ‘^A’ ‘{print $10}’ | sort | uniq -c

• 查找當前日志文件 500 錯誤的訪問：

  cat access.log | awk -F ‘^A’ ‘{if($5 == 500) print $0}’

• 查找當前日志文件 500 錯誤的數量：

  cat access.log | awk -F ‘^A’ ‘{if($5 == 500) print $0}’ | wc -l

• 查找某一分鐘內 500 錯誤訪問的數量:

  cat access.log | awk -F ‘^A’ ‘{if($5 == 500) print $0}’ | grep ’09:00’ | wc-l

• 查找耗時超過 1s 的慢請求：

  tail -f access.log | awk -F ‘^A’ ‘{if($6>1) print $0}’

• 假如只想查看某些位：

  tail -f access.log | awk -F ‘^A’ ‘{if($6>1) print $3″|”$4}’

• 查找 502 錯誤最多的 URL：

  cat access.log | awk -F ‘^A’ ‘{if($5==502) print $11}’ | sort | uniq -c

• 查找 200 空白頁

  cat access.log | awk -F ‘^A’ ‘{if($5==200 && $8 < 100) print $3″|”$4″|”$11″|”$6}’

• 查看實時日志數據流

  tail -f access.log | cat -e

  或者

  tail -f access.log | tr ‘^A’ ‘|’

總結

照著這個思路可以做很多其他分析，比如 UA 最多的訪問；訪問頻率最高的 IP；請求耗時分析；請求返回包大小分析；等等。

這就是一個大型 Web 日志分析系統的原型，這樣的格式也是非常方便進行後續大規模 batching 和 streaming 計算。
原文：http://blog.eood.cn/nginx_logs