據說很少有人能說清楚 free 命令所顯示的 “buffers” 與 “cached” 之間的區別：
# free
total used free shared buffers cached
Mem: 3848656 2983016 865640 5312 324432 2024904
-/+buffers/cache: 633680 3214976
Swap: 2031612 0 2031612
我們先列出結論，如果你對研究過程感興趣可以繼續閱讀後面的段落：
“buffers” 表示塊設備(block device)所占用的緩存頁，包括：直接讀寫塊設備、以及文件系統元數據(metadata)比如SuperBlock所使用的緩存頁；
“cached” 表示普通文件數據所占用的緩存頁。
下面是分析過程：先從用 strace 跟蹤 free 命令開始，看能不能發現它是如何計算 “buffers” 和 “cached” 的：
# strace free
...
open("/proc/meminfo",O_RDONLY) =3
lseek(3,0,SEEK_SET) =0
read(3,"MemTotal: 3848656 kB\nMemF"...,2047)=1170
...
顯然 free 命令是從 /proc/meminfo 中讀取信息的，跟我們直接讀到的結果一樣：
# cat /proc/meminfo
MemTotal: 3848656kB
MemFree: 865640kB
Buffers: 324432kB
Cached: 2024904kB
...
SwapTotal: 2031612kB
SwapFree: 2031612kB
...
Shmem: 5312kB
...
那麼 /proc/meminfo 中的 “Buffers” 和 “Cached” 又是如何得來的呢？這回沒法偷懶，只能去看源代碼了。源代碼文件是：fs/proc/meminfo.c ，我們感興趣的函數是：meminfo_proc_show()，閱讀得知：
“Buffers” 來自於 nr_blockdev_pages() 的返回值。
“Cached” 來自於以下公式：
global_page_state(NR_FILE_PAGES) – total_swapcache_pages – i.bufferram
以上計算cached的公式中，global_page_state(NR_FILE_PAGES) 來自 vmstat[NR_FILE_PAGES]，表示所有的緩存頁(page cache)的總和，它包括：
Cached
buffers
交換區緩存(swap cache)
這裡簡單解釋一下swap cache：
那些匿名內存頁，比如用戶進程通過malloc()申請的內存頁是沒有關聯任何文件的（有別於backing storage基於磁盤文件的內存頁），如果發生swapping換頁，這類內存頁會被寫入交換區。從一個匿名內存頁被確定要被換頁開始，它就被計入了swap cache，但是不一定會被立刻寫入物理交換區，因為Linux的原則是除非絕對必要，盡量避免I/O。所以swap cache中包含的是被確定要swapping換頁、但是尚未寫入物理交換區的匿名內存頁。
vmstat[NR_FILE_PAGES] 可以通過 /proc/vmstat 來查看，表示所有緩存頁的總數量：
# cat /proc/vmstat
...
nr_file_pages587334
...
注意以上nr_file_pages是以page為單位，而不像free命令是以KB為單位，一個page等於4KB。
直接修改 nr_file_pages 的內核函數是：
__inc_zone_page_state(page, NR_FILE_PAGES) 和
__dec_zone_page_state(page, NR_FILE_PAGES)，
一個用於增加，一個用於減少。
先看”cached”：
“Cached” 就是除去 “buffers” 和 “swap cache” 之外的緩存頁的數量：
global_page_state(NR_FILE_PAGES) – total_swapcache_pages – i.bufferram
所以關鍵還是要理解 “buffers” 是什麼含義。
來看看”buffers” ：
從源代碼中看到，”buffers” 來自於 nr_blockdev_pages() 的返回值，我們來看一下這個函數是干什麼的：
longnr_blockdev_pages(void)
{
structblock_device *bdev;
longret=0;
spin_lock(&bdev_lock);
list_for_each_entry(bdev,&all_bdevs,bd_list){
ret+=bdev->bd_inode->i_mapping->nrpages;
}
spin_unlock(&bdev_lock);
returnret;
}
這段代碼很簡單，意思是遍歷所有的塊設備(block device)，累加每個塊設備的inode的i_mapping的頁數，統計得到的就是 buffers。所以很明顯，buffers 是與塊設備直接相關的。
那麼誰會更新塊設備的緩存頁數量(nrpages)呢？我們繼續向下看。
搜索kernel源代碼發現，最終更新mapping->nrpages字段的函數就是add_to_page_cache和__remove_from_page_cache：
staticinline intadd_to_page_cache(structpage *page,
structaddress_space *mapping,pgoff_t offset,gfp_t gfp_mask)
{
interror;
__set_page_locked(page);
error=add_to_page_cache_locked(page,mapping,offset,gfp_mask);
if(unlikely(error))
__clear_page_locked(page);
returnerror;
}
voidremove_from_page_cache(structpage *page)
{
structaddress_space *mapping=page->mapping;
void(*freepage)(structpage *)=NULL;
structinode *inode=mapping->host;
BUG_ON(!PageLocked(page));
if(IS_AOP_EXT(inode))
freepage=EXT_AOPS(mapping->a_ops)->freepage;
spin_lock_irq(&mapping->tree_lock);
__remove_from_page_cache(page);
spin_unlock_irq(&mapping->tree_lock);
mem_cgroup_uncharge_cache_page(page);
if(freepage)
freepage(page);
}
這兩個函數是通用的，block device 和 文件inode 都可以調用，至於更新的是塊設備的(buffers)還是文件的(cached)，取決於調用參數變量mapping：如果mapping對應的是文件inode，自然就不會影響到 “buffers”；如果mapping對應的是塊設備，那麼相應的統計信息會反映在 “buffers” 中。我們下面看看kernel中哪些地方會把塊設備的mapping傳遞進來。
搜索內核源代碼發現，ext4_readdir 函數調用 page_cache_sync_readahead 時傳遞的參數是 sb->s_bdev->bd_inode->i_mapping，其中s_bdev就是塊設備，也就是說在讀目錄(ext4_readdir)的時候可能會增加 “buffers” 的值：
staticintext4_readdir(structfile *filp,
void*dirent,filldir_t filldir)
{
...
structsuper_block *sb=inode->i_sb;
...
if(!ra_has_index(&filp->f_ra,index))
page_cache_sync_readahead(
sb->s_bdev->bd_inode->i_mapping,
&filp->f_ra,filp,
index,1);
...
}
繼續琢磨上面的代碼，sb表示SuperBlock，屬於文件系統的metadata（元數據），突然間一切恍然大悟：因為metadata不屬於文件，沒有對應的inode，所以，對metadata操作所涉及的緩存頁都只能利用塊設備mapping，算入 buffers 的統計值內。
打個岔：ext4_readdir() 中調用 page_cache_sync_readahead() 顯然是在進行預讀(read-ahead)，為什麼read-ahead沒有使用普通文件inode的mapping，而是使用了底層的塊設備呢？從記載在補丁中的說明來看，這是一個權宜之計，看這裡，所以不必深究了。
舉一反三，如果文件含有間接塊(indirect blocks)，因為間接塊屬於metadata，所以走的也是塊設備的mapping。查看源代碼，果然如此：
ext4_get_blocks
-> ext4_ind_get_blocks
-> ext4_get_branch
-> sb_getblk
staticinline structbuffer_head *
sb_getblk(structsuper_block *sb,sector_t block)
{
return__getblk(sb->s_bdev,block,sb->s_blocksize);
}
這樣，我們就知道了，”buffers” 是塊設備(block device)占用的緩存頁，分為兩種情況：
直接對塊設備進行讀寫操作；
文件系統的metadata（元數據），比如 SuperBlock。
驗證：
現在我們來做個測試，驗證一下上述結論。既然讀取EXT4文件系統的目錄會使用到 “buffers”，我們用 find 命令掃描文件系統，觀察 “buffers” 增加的情況：
# free
total used free shared buffers cached
Mem: 3848656 2889508 959148 5316 263896 2023340
-/+buffers/cache: 602272 3246384
Swap: 2031612 0 2031612
# find / -name abc.def
# free
total used free shared buffers cached
Mem: 3848656 2984052 864604 5320 319612 2023348
-/+buffers/cache: 641092 3207564
Swap: 2031612 0 2031612
再測試一下直接讀取block device，觀察”buffers”增加的現象：
# free
total used free shared buffers cached
Mem: 3848656 3006944 841712 5316 331020 2028648
-/+buffers/cache: 647276 3201380
Swap: 2031612 0 2031612
# dd if=/dev/sda1 of=/dev/null count=2000
2000+0records in
2000+0records out
1024000bytes(1.0MB)copied,0.026413s,38.8MB/s
# free
total used free shared buffers cached
Mem: 3848656 3007704 840952 5316 331872 2028692
-/+buffers/cache: 647140 3201516
Swap: 2031612 0 2031612
結論：
free 命令所顯示的 “buffers” 表示塊設備(block device)所占用的緩存頁，包括直接讀寫塊設備、以及文件系統元數據(metadata)如SuperBlock所使用的緩存頁；
而 “cached” 表示普通文件所占用的緩存頁。
