Shell應用：統計指定格式超過n秒的數據

該腳本的應用場景是數據分析，一般作線上日志分析的人員需要觀察線上數據的變化，如：

1.訪問數據庫的響應大於1000毫秒的sql

2.apache cookielog響應大於多少毫秒的數據

數據格式：

1. 2010-12-14 00:01:26,427 FATAL FUNCTION_TIME - wmmad.alloffer.get 15511ms
2. 2010-12-14 00:01:33,164 FATAL FUNCTION_TIME - wmmad.alloffer.get 14213ms
3. 2010-12-14 00:02:31,021 FATAL FUNCTION_TIME - wmmad.alloffer.get 14126ms
4. 2010-12-14 00:05:08,160 FATAL FUNCTION_TIME - wmmad.alloffer.get 15295ms
5. 2010-12-14 00:24:00,372 ERROR FUNCTION_TIME - wmmad.offer.repost 406ms

腳本：

1. #/bin/bash
3. # author: madding.lip
4. # date 2010.12.14
5. # 統計超n毫秒的數據量
7. ERROR_USAGE=1
9. if [ $# != 2 ]; then
10. echo "Usage: $0 file times";
11. exit $ERROR_USAGE
12. fi
14. myfile=$1
15. mytime=$2
18. all=0
19. count=0;
21. data=`cat $myfile | awk '{print $7}' | sed 's/ms//g'`;
23. for i in $data ;
24. do
25. all=$(( $all + 1 ));
26. if test $(( $mytime < $i )) -eq 1 ;then
27. # echo $i; sleep 1;
28. count=$(( $count + 1 ));
29. fi
30. done;
32. echo "response time over ${mytime}ms: "$count" times"
33. echo "all count: "$all" times"

具體根據數據格式作調整即可。