有些時候，我們特別關注程序的性能，特別是底層軟件，比如驅動程序，OS等。為了更好的優化程序性能，我們必須找到性能瓶頸點，“好鋼用在刀刃上”才能取得好的效果，否則可能白做工作。為了找到關鍵路徑，我們可以使用profilng技術，在linux平台上，我們可以使用gprof和oprofile 工具。
- gprof是GNU工具之一，它在編譯的時候在每個函數的出入口加入了profiling的代碼，運行時統計程序在用戶態的執行信息，可以得到每個函數的調用次數，執行時間，調用關系等信息，簡單易懂。適合於查找用戶級程序的性能瓶頸，對於很多時間都在內核態執行的程序，gprof不適合。
- oprofile也是一個開源的profiling工具，它使用硬件調試寄存器來統計信息，進行profiling的開銷比較小，而且可以對內核進行profiling。它統計的信息非常的多，可以得到cache的缺失率，memory的訪存信息，分支預測錯誤率等等，這些信息 gprof是得不到的，但是對於函數調用次數，它是不能夠得到的。。
簡單來說，gprof簡單，適合於查找用戶級程序的瓶頸，而oprofile稍顯復雜，但是得到的信息更多，更適合調試系統軟件。
我們以編譯運行hello.c為例，來說明如何使用這兩個工具，這裡不解釋具體結果的含義，要想詳細了解每個結果代表什麼意思，可以看一下參考資料中官方站點上的doc信息，裡面會給你詳盡的解釋。
gprof Quick Start
gprof是gnu binutils工具之一，默認情況下linux系統當中都帶有這個工具。
- 使用 -pg 選項來編譯hello.c，如果要得到帶注釋的源碼清單，則需要增加 -g 選項。運行： gcc -pg -g -o hello hello.c
- 運行應用程序： ./hello 會在當前目錄下產生gmon.out文件
- 使用gprof來分析gmon.out文件，需要把它和產生它的應用程序關聯起來：
- gprof hello gmon.out -p 得到每個函數占用的執行時間
- gprof hello gmon.out -q 得到call graph，包含了每個函數的調用關系，調用次數，執行時間等信息。
- gprof hello gmon.out -A 得到一個帶注釋的“源代碼清單”，它會注釋源碼，指出每個函數的執行次數。這需要在編譯的時候增加 -g選項。
oprofile Quick Start
oprofile是sourceforge上面的一個開源項目，在2.6內核上帶有這個工具，好像只有smp系統才有。比較老的系統，需要自己安裝，重新編譯內核。
oprofile是一套工具，分別完成不同的事情。
op_help： 列出所有支持的事件。
opcontrol：設置需要收集的事件。
opreport： 對結果進行統計輸出。
opannaotate：產生帶注釋的源/匯編文件，源語言級的注釋需要編譯源文件時的支持。
opstack： 產生調用圖profile，但要求x86/2.6的平台，並且linux2.6安裝了call-graph patch
opgprof： 產生如gprof相似的結果。
oparchive： 將所有的原始數據文件收集打包，可以到另一台機器上進行分析。
op_import： 將采樣的數據庫文件從另一種abi轉化成本地格式。
運行oprofile需要root權限，因為它要加載profile模塊，啟動oprofiled後台程序等。所以在運行之前，就需要切換到root。
opcontrol --init 加載模塊，mout /dev/oprofile 創建必需的文件和目錄
- opcontrol --no-vmlinux 或者 opcontrol --vmlinux=/boot/vmlinux-`uname -r` 決定是否對kernel進行profilingopcontrol --reset 清楚當前會話中的數據 opcontrol --start 開始profiling ./hello 運行應用程序，oprofile會對它進行profiling opcontrol --dump 把收集到的數據寫入文件 opcontrol --stop 停止profiling
- opcotrol -h 關閉守護進程oprofiled
- opcontrol --shutdown 停止oprofiled
- opcontrol --deinit 卸載模塊
常用的是3→7這幾個過程，得到性能數據之後，可以使用opreport, opstack, opgprof, opannotate幾個工具進行分析，我常用的是opreport, opannotate進行分析。
- opreport使用 http://oprofile.sourceforge.net/doc/opreport.html
- opannotate使用 http://oprofile.sourceforge.net/doc/opannotate.html
- opgprof使用 http://oprofile.sourceforge.net/doc/opgprof.html
最常用的是opreport，這個可以給出image和symbols的信息，比如我想得到每個函數的執行時間占用比例等信息，用來發現系統性能瓶頸。opannotate可以對源碼進行注釋，指出哪個地方占用時間比較多。常用命令如下：
- opreport -l /bin/bash --exclude-depand --threshold 1 , 用來發現系統瓶頸。
- opannotate --source --output-dir=annotated /usr/local/oprofile-pp/bin/oprofiled
- opannotate --source --base-dirs=/tmp/build/libfoo/ --search-dirs=/home/user/libfoo/ --output-dir=annotated/ /lib/libfoo.so
