歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux基礎 >> 關於Linux >> linux top命令中的cache & buffers

linux top命令中的cache & buffers

日期:2017/3/1 12:14:41   编辑:關於Linux

今天用top查看系統具體進程使用系統資源的情況時,對cache和buffer這兩個概念不是很清楚,研究了一下:

**cache是高速緩存,用於CPU和內存之間的緩沖;
**buffer是I/O緩存,用於內存和硬盤的緩沖*

[原文鏈接](http://blog.chinaunix.net/uid-24020646-id-2939696.html)

當你在linux下頻繁存取文件後,物理內存會很快被用光,當程序結束後,內存不會被正常釋放,而是一直作為caching.這個問題,貌似有不少人在問,不過都沒有看到有什麼很好解決的辦法.那麼我來談談這個問題.
先來說說free命令

[root@server ~]# free -m
      total  used  free   shared   buffers    cached
Mem:   249   163   86       0       10         94
-/+ buffers/cache:   58        191
Swap:  511    0    511
其中:
total 內存總數
used 已經使用的內存數
free 空閒的內存數
shared 多個進程共享的內存總額
buffers: Buffer Cache
cached: Page Cache
-buffers/cache 的內存數:used - buffers - cached
+buffers/cache 的內存數:free + buffers + cached
**可用的memory=free memory+buffers+cached**

有了這個基礎後,可以得知,我現在used為163MB,free為86,buffer和cached分別為10,94
那麼我們來看看,如果我執行復制文件,內存會發生什麼變化.

[root@server ~]# cp -r /etc ~/test/
[root@server ~]# free -m
       total  used  free   shared    buffers     cached
Mem:   249    244  4          0          8        174
-/+ buffers/cache:  62        187
Swap:  511    0      511

在我命令執行結束後,used為244MB,free為4MB,buffers為8MB,cached為174MB,天吶都被cached吃掉了.別緊張,這是為了提高文件讀取效率的做法.

為了提高磁盤存取效率, Linux做了一些精心的設計, 除了對dentry(目錄項http://blog.sina.com.cn/s/blog_6fe0d70d0101e36f.html)進行緩存(用於VFS,加速文件路徑名到inode的轉換), 還采取了兩種主要Cache方式:Buffer Cache和Page Cache。前者針對磁盤塊的讀寫,後者針對文件inode的讀寫。這些Cache有效縮短了 I/O系統調用(比如read,write,getdents)的時間。”

那麼有人說過段時間,linux會自動釋放掉所用的內存,我們使用free再來試試,看看是否有釋放>?

[root@server test]# free -m
      total  used   free    shared    buffers     cached
Mem:  249    244      5       0         8           174
-/+ buffers/cache:   61     188
Swap: 511     0     511

MS沒有任何變化,那麼我能否手動釋放掉這些內存呢???回答是可以的!
/proc是一個虛擬文件系統,我們可以通過對它的讀寫操作做為與kernel實體間進行通信的一種手段.也就是說可以通過修改/proc中的文件,來對當前kernel的行為做出調整.那麼我們可以通過調整/proc/sys/vm/drop_caches來釋放內存.操作如下:

[root@server test]# cat /proc/sys/vm/drop_caches
0

首先,/proc/sys/vm/drop_caches的值,默認為0

[root@server test]# sync

手動執行sync命令(描述:sync 命令運行 sync 子例程。如果必須停止系統,則運行 sync 命令以確保文件系統的完整性。sync 命令將所有未寫的系統緩沖區寫到磁盤中,包含已修改的 i-node、已延遲的塊 I/O 和讀寫映射文件)

[root@server test]# echo 3 > /proc/sys/vm/drop_caches
[root@server test]# cat /proc/sys/vm/drop_caches
3

將/proc/sys/vm/drop_caches值設為3

[root@server test]# free -m
     total   used   free     shared    buffers     cached
Mem: 249      66    182         0          0         11
-/+ buffers/cache:   55     194
Swap:511     0      511

再來運行free命令,發現現在的used為66MB,free為182MB,buffers為0MB,cached為11MB.那麼有效的釋放了buffer和cache.


有關/proc/sys/vm/drop_caches的用法在下面進行了說明

/proc/sys/vm/drop_caches (since Linux 2.6.16)
    Writing  to  this  file  causes the kernel to drop clean caches,
    dentries and inodes from memory, causing that memory  to  become free.
    To  free  pagecache, use echo 1 >/proc/sys/vm/drop_caches; 
    to  free  dentries  and  inodes, use echo 2 >
/proc/sys/vm/drop_caches;
    to free pagecache, dentries  and  inodes,  use  echo  3  > /proc/sys/vm/drop_caches.
    Because this is a non-destructive operation  and  dirty  objects are not freeable, the user should run sync(8) first.

  buffer 與cache 的區別
   A buffer is something that has yet to be “written” to disk.
   A cache is something that has been “read” from the disk and stored for later use.

  更詳細的解釋參考:Difference Between Buffer and Cache
  對於共享內存(Shared memory),主要用於在UNIX 環境下不同進程之間共享數據,是進程間通信的一種方法,一般的應用程序不會申請使用共享內存,筆者也沒有去驗證共享內存對上面等式的影響。如果你有興趣,請參考:What is Shared Memory?

  cache 和 buffer的區別:
  Cache:高速緩存,是位於CPU與主內存間的一種容量較小但速度很高的存儲器。由於CPU的速度遠高於主內存,CPU直接從內存中存取數據要等待一定時間周期,Cache中保存著CPU剛用過或循環使用的一部分數據,當CPU再次使用該部分數據時可從Cache中直接調用,這樣就減少了CPU的等待時間,提高了系統的效率。Cache又分為一級Cache(L1 Cache)和二級Cache(L2 Cache),L1 Cache集成在CPU內部,L2 Cache早期一般是焊在主板上,現在也都集成在CPU內部,常見的容量有256KB或512KB L2 Cache。
  Buffer:緩沖區,一個用於存儲速度不同步的設備或優先級不同的設備之間傳輸數據的區域。通過緩沖區,可以使進程之間的相互等待變少,從而使從速度慢的設備讀入數據時,速度快的設備的操作進程不發生間斷。

  Free中的buffer和cache:(它們都是占用內存)
  buffer : 作為buffer cache的內存,是塊設備的讀寫緩沖區
  cache: 作為page cache的內存, 文件系統的cache
  如果 cache 的值很大,說明cache住的文件數很多。如果頻繁訪問到的文件都能被cache住,那麼磁盤的讀IO bi會非常小。

==============================================================================================
cache最初用於cpu cache, 主要原因是cpu 與memory, 由於cpu快,memory跟不上,且有些值使用次數多,所以放入cache中,主要目的是,重復使用, 並且一級\二級物理cache速度快;

buffer 主要用於disk 與 memory, 主要是保護硬盤或減少網絡傳輸的次數(內存數據表現dataSet).當然也可以提高速度(不會立即寫入硬盤或直接從硬盤中讀出的數據馬上顯示),重復使用,最初最主要的目的是保護disk。 asp.net的cache有outputcahe與數據cache, 主要目的是重復使用,提高速度,outputcache主要存儲Reader後的頁,一般是多次使用同一個HTML,建議不要varybyparam,不要存多version,
數據cache,如dataSet, dataTable, 等@page buffer=”true”, 使用buffer,讓buffer滿後再顯示讀出或寫入,(c中文件輸出也是如此,主要目的是保護硬盤), 也可以提高下次的訪問速度. 在client browse端表現是: true是一次性顯示,要麼不顯示, 中間等, false是一次顯示一些, 這在網絡輸出也是如此表現. 對於文件訪問c中默認采用的是buffer = true, 這與asp.net一樣, 相當於Response.write();中當buffer滿後輸出,以減少網絡的傳輸次數 <%@ OutputCache Duration="60" VaryByParam="none"%>, 是將asp.net生成的HTML緩存起來,在指定的時間內不需要重新生成html, control.ascx.也有組件緩存(htmlCach)。 dataSet也是如此。DataCache,cache和buffer都是緩沖區, 在翻譯上,cache翻譯成高速緩沖區要好一點(因為主要是為下次訪問加速), buffer翻譯成緩沖區好點。都是緩沖的作用,可目的有點不同,主要是理解,不需要太咬文嚼字.


緩存(cache)是把讀取過的數據保存起來,重新讀取時若命中(找到需要的數據)就不要去讀硬盤了,若沒有命中就讀硬盤。其中的數據會根據讀取頻率進行組織,把最頻繁讀取的內容放在最容易找到的位置,把不再讀的內容不斷往後排,直至從中刪除。
緩沖(buffers)是根據磁盤的讀寫設計的,把分散的寫操作集中進行,減少磁盤碎片和硬盤的反復尋道,從而提高系統性能。linux有一個守護進程定期清空緩沖內容(即寫如磁盤),也可以通過sync命令手動清空緩沖。舉個例子吧:

我這裡有一個ext2的U盤,我往裡面cp一個3M的MP3,但U盤的燈沒有跳動,過了一會兒(或者手動輸入sync)U盤的燈
就跳動起來了。卸載設備時會清空緩沖,所以有些時候卸載一個設備時要等上幾秒鐘。
修改/etc/sysctl.conf中的vm.swappiness右邊的數字可以在下次開機時調節swap使用策略。該數字范圍是0~100,數字越大越傾向於使用swap。默認為60,可以改一下試試。

兩者都是RAM中的數據。簡單來說,buffer是即將要被寫入磁盤的,而cache是被從磁盤中
讀出來的。
buffer是由各種進程分配的,被用在如輸入隊列等方面,一個簡單的例子如某個進程要求
有多個字段讀入,在所有字段被讀入完整之前,進程把先前讀入的字段放在buffer中保存

cache經常被用在磁盤的I/O請求上,如果有多個進程都要訪問某個文件,於是該文件便被
做成cache以方便下次被訪問,這樣可提供系統性能。
A buffer is something that has yet to be “written” to disk. A cache is
something that has been “read” from the disk and stored for later use.
 
更詳細的解釋參考:Difference Between Buffer and Cache
 

===========================================
補充:釋放buffers&cached

sync
echo 1 > /proc/sys/vm/drop_caches
echo 2 > /proc/sys/vm/drop_caches
echo 3 > /proc/sys/vm/drop_caches
cache釋放:
##To free pagecache:
echo 1 > /proc/sys/vm/drop_caches
##To free dentries and inodes:
echo 2 > /proc/sys/vm/drop_caches
##To free pagecache, dentries and inodes:
echo 3 > /proc/sys/vm/drop_caches

說明,釋放前最好sync一下,防止丟數據。
因為LINUX的內核機制,一般情況下不需要特意去釋放已經使用的cache。這些cache起來的內容可以增加文件以及的讀寫速度。

Copyright © Linux教程網 All Rights Reserved