歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux管理 >> Linux維護 >> Linux系統怎麼分析Nginx日志

Linux系統怎麼分析Nginx日志

日期:2017/3/2 10:26:19   编辑:Linux維護

Linux系統下Nginx 日志可以查看系統運行記錄和出錯說明,對Nginx 日志的分析可以了解系統運行的狀態。那麼Linux系統Nginx日志怎麼分析呢?

Nginx 日志相關配置有 2 個地方:access_log 和 log_format 。

默認的格式:

access_log /data/logs/nginx-access.log;

log_format old ‘$remote_addr [$time_local] $status $request_time $body_bytes_sent ’

‘“$request” “$http_referer” “$http_user_agent”’;

相信大部分用過 Nginx 的人對默認 Nginx 日志格式配置都很熟悉,對日志的內容也很熟悉。但是默認配置和格式雖然可讀,但是難以計算。

Nginx 日志刷盤相關策略可配置:

比如,設置 buffer,buffer 滿 32k 才刷盤;假如 buffer 不滿 5s 鐘強制刷盤的配置如下:

access_log /data/logs/nginx-access.log buffer=32k flush=5s;

這決定了是否實時看到日志以及日志對磁盤 IO 的影響。

Nginx 日志能夠記錄的變量還有很多沒出現在默認配置中:

比如:

請求數據大小:$request_length

返回數據大小:$bytes_sent

請求耗時:$request_time

所用連接序號:$connection

當前連接發生請求數:$connection_requests

Nginx 的默認格式不可計算,需要想辦法轉換成可計算格式,比如用控制字符 ^A (Mac 下 ctrl+v ctrl+a 打出)分割每個字段。

log_format 的格式可以變成這樣:

log_format new ‘$remote_addr^A$http_x_forwarded_for^A$host^A$time_local^A$status^A’

‘$request_time^A$request_length^A$bytes_sent^A$http_referer^A$request^A$http_user_agent’;

這樣之後就通過常見的 Linux 命令行工具進行分析了:

查找訪問頻率最高的 URL 和次數:

cat access.log | awk -F ‘^A’ ‘{print $10}’ | sort | uniq -c

查找當前日志文件 500 錯誤的訪問:

cat access.log | awk -F ‘^A’ ‘{if($5 == 500) print $0}’

查找當前日志文件 500 錯誤的數量:

cat access.log | awk -F ‘^A’ ‘{if($5 == 500) print $0}’ | wc -l

查找某一分鐘內 500 錯誤訪問的數量:

cat access.log | awk -F ‘^A’ ‘{if($5 == 500) print $0}’ | grep ’09:00’ | wc-l

查找耗時超過 1s 的慢請求:

tail -f access.log | awk -F ‘^A’ ‘{if($6》1) print $0}’

假如只想查看某些位:

tail -f access.log | awk -F ‘^A’ ‘{if($6》1) print $3″|”$4}’

查找 502 錯誤最多的 URL:

cat access.log | awk -F ‘^A’ ‘{if($5==502) print $11}’ | sort | uniq -c

查找 200 空白頁

cat access.log | awk -F ‘^A’ ‘{if($5==200 && $8 《 100) print $3″|”$4″|”$11″|”$6}’

查看實時日志數據流

tail -f access.log | cat -e

或者

tail -f access.log | tr ‘^A’ ‘|’

照著這個思路可以做很多其他分析,比如 UA 最多的訪問;訪問頻率最高的 IP;請求耗時分析;請求返回包大小分析;等等。

這就是一個大型 Web 日志分析系統的原型,這樣的格式也是非常方便進行後續大規模 batching 和 streaming 計算。

以上就是Linux系統Nginx日志怎麼分析的全部內容了,可以看出來Nginx日志還是有很強大的作用的。

Copyright © Linux教程網 All Rights Reserved