歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux綜合 >> Linux資訊 >> 更多Linux >> Linux日志文件系統及性能分析(組圖)

Linux日志文件系統及性能分析(組圖)

日期:2017/2/27 9:30:44   编辑:更多Linux
  日志文件系統可以在系統發生斷電或者其它系統故障時保證整體數據的完整性,Linux是目前支持日志文件系統最多的操作系統之一,本文重點研究了Linux常用的日志文件系統:EXT3、ReiserFS、XFS和JFS日志技術,並采用標准的測試工具PostMark和 Bonnie++對它們進行了測試,給出了詳細的性能分析,對Linux服務器應用具有重要的參考價值。    一、概述    所謂日志文件系統是在傳統文件系統的基礎上,加入文件系統更改的日志記錄,它的設計思想是:跟蹤記錄文件系統的變化,並將變化內容記錄入日志。日志文件系統在磁盤分區中保存有日志記錄,寫操作首先是對記錄文件進行操作,若整個寫操作由於某種原因(如系統掉電)而中斷,系統重啟時,會根據日志記錄來恢復中斷前的寫操作。在日志文件系統中,所有的文件系統的變化都被記錄到日志,每隔一定時間,文件系統會將更新後的元數據及文件內容寫入磁盤。在對元數據做任何改變以前,文件系統驅動程序會向日志中寫入一個條目,這個條目描述了它將要做些什麼,然後它修改元數據。目前Linux的日志文件系統主要有:在Ext2基礎上開發的Ext3,根據面向對象思想設計的ReiserFS,由SGI IRIX系統移植過來的XFS,由IBM AIX系統移植過來的JFS,其中EXT3完全兼容EXT2,其磁盤結構和EXT2完全一樣,只是加入日志技術;而後三種文件系統廣泛使用了B樹以提高文件系統的效率。    二、Ext3    Ext3 文件系統是直接從Ext2文件系統發展而來,目前Ext3文件系統已經非常穩定可靠,它完全兼容Ext2文件系統,用戶可以平滑地過渡到一個日志功能健全的文件系統。Ext3日志文件系統的思想就是對文件系統進行的任何高級修改都分兩步進行。首先,把待寫塊的一個副本存放在日志中;其次,當發往日志的 I/O 數據傳送完成時(即數據提交到日志),塊就寫入文件系統。當發往文件系統的I/O 數據傳送終止時(即數據提交給文件系統),日志中的塊副本就被丟棄。    2.1 Ext3日志模式    Ext3既可以只對元數據做日志,也可以同時對文件數據塊做日志。具體來說,Ext3提供以下三種日志模式:    日志(Journal )    文件系統所有數據和元數據的改變都記入日志。這種模式減少了丟失每個文件所作修改的機會,但是它需要很多額外的磁盤訪問。例如,當一個新文件被創建時,它的所有數據塊都必須復制一份作為日志記錄。這是最安全和最慢的Ext3日志模式。    預定(Ordered )    只有對文件系統元數據的改變才記入日志。然而,Ext3文件系統把元數據和相關的數據塊進行分組,以便把元數據寫入磁盤之前寫入數據塊。這樣,就可以減少文件內數據損壞的機會;例如,確保增大文件的任何寫訪問都完全受日志的保護。這是缺省的Ext3 日志模式。    寫回(Writeback )    只有對文件系統元數據的改變才記入日志;這是在其他日志文件系統發現的方法,也是最快的模式。    2.2 日志塊設備(JBD)    Ext3 文件系統本身不處理日志,而是利用日志塊設備(Journaling Block Device)或叫JBD 的通用內核層。Ext3文件系統調用JDB例程以確保在系統萬一出現故障時它的後續操作不會損壞磁盤數據結構。Ext3 與JDB 之間的交互本質上基於三個基本單元:日志記錄,原子操作和事務。    日志記錄本質上是文件系統將要發出的低級操作的描述。在某些日志文件系統中,日志記錄只包括操作所修改的字節范圍及字節在文件系統中的起始位置。然而,JDB 層使用的日志記錄由低級操作所修改的整個緩沖區組成。這種方式可能浪費很多日志空間(例如,當低級操作僅僅改變位圖的一個位時),但是,它還是相當快的,因為JBD 層直接對緩沖區和緩沖區首部進行操作。    修改文件系統的任一系統調用都通常劃分為操縱磁盤數據結構的一系列低級操作。如果這些低級操作還沒有全部完成系統就意外宕機,就會損壞磁盤數據。為了防止數據損壞,Ext3文件系統必須確保每個系統調用以原子的方式進行處理。原子操作是對磁盤數據結構的一組低級操作,這組低級操作對應一個單獨的高級操作。    出於效率的原因,JBD 層對日志的處理采用分組的方法,即把屬於幾個原子操作處理的日志記錄分組放在一個單獨的事務中。此外,與一個處理相關的所有日志記錄都必須包含在同一個事務中。一個事務的所有日志記錄都存放在日志的連續塊中。JBD層把每個事務作為整體來處理。例如,只有當包含在一個事務的日志記錄中的所有數據提交給文件系統時才回收該事務所使用的塊。    三、ReiserFS    ReiserFS 是一個非常優秀的文件系統,其開發者非常有魄力,整個文件系統完全是從頭設計的。目前,ReiserFS可輕松管理上百G的文件系統,這在企業級應用中非常重要。ReiserFS 是根據面向對象的思想設計的,由語義層(semantic layer)和存儲層(storage layer)組成。語義層主要是對對象命名空間的管理及對象接口的定義,以確定對象的功能。存儲層主要是對磁盤空間的管理。語義層與存儲層是通過鍵(key)聯系的。語義層通過對對象名進行解析生成鍵,存儲層通過鍵找到對象在磁盤上存儲空間,鍵值是全局唯一的。    3.1 語義層主要接口    1) 文件接口 每個文件擁有一個接口ID,此ID標識一個方法集,此方法集包含訪問ReiserFS 文件的所有接口。    2) 屬性接口 ReiserFS實現了一種新接口,把文件的每一種屬性當做一個文件,屬性的值就是此文件的內容,以實現對文件屬性的目錄式訪問。    3) hash接口 目錄是文件名到文件的映射表,ReiserFS是通過B+樹來實現這張映射表。由於文件名是變長的,而且有時文件名會很長,所以文件名不適合作為鍵值,故引入了Hash函數來產生鍵值。    4) 安全接口 安全接口處理所有的安全性檢查,通常是由文件接口觸發的。下面以讀文件為例:文件接口的read 方法在讀入文件數據之前會調用安全接口的read chech 方法來來進行安全性檢查,而後者又會調用屬性文件的read方法把文件屬性讀入以便檢查。    5) 項(Item)接口 項接口主要是一些對項進行平衡處理的方法,包括:項的拆分,項的評估,項的覆寫,項的追加,項的刪除,插入及查找。    6) 鍵分配(key Assignment)接口 當把一個鍵分配給一個項時,鍵分配接口就會被觸發。每一種項都有一個與其對應的鍵分配方法。    3.2 存儲層    ReiserFS是以B+樹來存儲數據的,其結構如圖:    圖1:ReiserFS B+ 樹     在B+樹中的各個結點中有一個稱為項(Item)的數據結構。項是一個數據容器,一個項只屬於一個結點,是結點管理空間的基本單位。如圖所示,一個項包括以下內容:    1) Item_body:項的數據域    2) Item_key: 項的鍵值    3) Item_offset:數據域的起點在結點中的偏移量    4) Item_length: 數據域的長度    5) Item_Plugin_id:項接口ID。    圖2: ReiserFS 項結構     ReiserFS設計了多種不同的項以存儲不同的數據,主要有以下幾種:    1) static_stat_data: 靜態統計數據,包括文件的所有者,訪問權限,創建時間,最近修改時間,鏈接數等    2) cmpnd_dir_item: 包含各個目錄項    3) extend_pointers: 指向一個盤區(extend)    4) node_pointers: 指向一個結點    5) bodies: 包含的是文件的小部分數據    3.3 ReiserFS日志    與ext3 一樣,ReiserFS也有三種日志模式,即journal,ordered,writeback。同時,ReiserFS引入了兩種日志優化方法: copy-on-capture和steal-on-capture。copy-on-capture:當一個事務要修改的塊在另一個未提交的事務中時,就把這個塊復制一份,這樣這兩個事務就可以並發進行了。steal-on-capture:當一個塊被多個事務修改時,只有最晚提交的那個事務才把這個塊實際寫入文件系統,其他事務都不寫這個塊。    四、XFS    XFS 是一種高性能的64 位文件系統,由SGI 公司為了替代原有的EFS 文件系統而開發的。XFS 通過保持cache 的一致性、定位數據和分布處理磁盤請求來提供對文件系統數據的低延遲、高帶寬的訪問。目前SGI已經將XFS文件系統從IRIX移植到Linux。    4.1 分配組(allocation groups)    當創建 XFS 文件系統時,底層塊設備被分割成八個或更多個大小相等的線性區域(region),用戶可以將它們想象成"塊"(chunk)或者"線性范圍(range)",在 XFS 中,每個區域稱為一個"分配組"。分配組是唯一的,因為每個分配組管理自己的索引節點(inode)和空閒空間,實際上是將這些分配組轉化為一種文件子系統,這些子系統透明地存在於 XFS 文件系統內。有了分配組,XFS 代碼將允許多個線程和進程持續以並行方式運行,即使它們中的許多線程和進程正在同一文件系統上執行大規模 IO 操作。因此,將 XFS 與某些高端硬件相結合,將獲得高性能而不會使文件系統成為瓶頸。分配組在內部使用高效的 B+樹來跟蹤主要數據,具有優越性能和極大的可擴展性。    4.2 日志記錄    XFS 也是一種日志記錄文件系統,它允許意外重新引導後的快速恢復。象 ReiserFS 一樣,XFS 使用邏輯日志;它不象 ext3 那樣將文字文件系統塊記錄到日志,而是使用一種高效的磁盤格式來記錄元數據的變動。就 XFS 而言,邏輯日志記錄是很適合的;在高端硬件上,日志經常是整個文件系統中爭用




Copyright © Linux教程網 All Rights Reserved