歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux綜合 >> Linux資訊 >> 更多Linux >> Linux操作系統下的實時數據鏡像詳解

Linux操作系統下的實時數據鏡像詳解

日期:2017/2/27 9:45:38   编辑:更多Linux

  摘要

  在本文中我們將要討論的是,如何拋開昂貴的SAN(存貯區域網絡Storage Area Network,如全球文件系統GFS)或網絡塊設備在Linux下實現數據復制。我們在復制系統中采用了FAM(文件變更監視模塊)和IMON(信息節點監視模塊),這兩個系統都是SGI當初為IRIX開發的。

  SGI的員工真是非常的Cool,是他們將這兩個程序移植到了Linux上並且公開了源代碼。

  當花費已不再是問題時,可以采用基於GFS(全球文件系統)和SAN實現實時數據鏡像;否則,數據共享及其它許多的選擇就不可或缺了。

  有幾個方法可供選擇。在本文中我們將會對這些方法進行討論,你將會看到它們各自的優缺點。

  為何要用復制替代共享?

  難道假設文件服務器不向客戶端提供共享數據嗎?是的,假設的工作環境確實是這樣的。如果我們正在使用的文件服務器是通過NFS或SMB之類軟件的共享文件的,系統中就會存在一個”瓶頸”和”引起系統故障的關鍵點”。若是在GFS之上通過共享的存貯設備(SAN或多通道的SCSI)共享數據,這種配置不但代價昂貴,並且這種存貯盒還會成為”引起系統故障的關鍵點”。也可以用NBD(網絡塊設備)建立一個網絡鏡像,但這不是一種常用的方式,NBD本身有些缺限,它非常難於設置管理,如果你只是要在少數幾個WEB服務器間復制數據,用NBD只會給你帶來更多的麻煩。

  盡量簡單

  好的,下面我們來試著復制。

  方案一:

  兩台WEB服務器中的一台為主服務器,另外一台是備份服務器。要求備份服務器上的文件要與主服務器上的保持相同,這很簡單吧。

  但是如何使其自動工作呢?用戶每天得多次FTP到主服務器上復制數據。但當主服務器發生錯誤、由備份服務器接管系統時會發生什麼呢?由於這種備份操作不是實時的,備份服務器中的數據肯定與主服務器不一致,這時管理員會非常惱怒J。你當然可以運行一個計時守護程序,每隔5秒運行一次”rsync –av –delete source destination”,但這樣做會增加機器的負荷,影響系統的運轉。

  方案二:

  有一台FTP服務器用來保存更新web數據,而六個web服務器使用dns輪轉方式實現負載平衡,這樣可以保證每台服務器上的數據都是相同的。這樣我們就可以避免使用NFS,但是這樣的解決方案並不能令人滿意。

  那麼最好的解決方法是什麼呢?應該是”只有在數據發生變化時才將文件復制到各個web服務器上”,如果文件沒有發生變化就什麼也不作。這也就是我們使用”fam”來做的工作。

  使之智能工作

  那麼,我們怎麼知道文件發了變化呢?我想M$ 的Windows程序開發員會這麼說:

  我們可以每隔幾秒就搜尋目標目錄一次,將其中的文件與緩存中保存的文件做比較,看文件時間戳及大小是否發生了變化。對,沒錯,是這樣。

  這是種輪詢的工作方式,它的問題在於查找並比較文件的時間戳和大小,它的代價是昂貴的。你能想象在WEB服務器上每隔5秒就運行一次”ls –lR /someDirectory”造成的後果嗎?

  最好的方法應該是:文件被改動的時候能夠有人告訴我們,這樣我們可以采取相應的動作。這正是”IMON”要做的工作。 什麼是FAM

  fam就是文件變更監視模塊,它向應用程序提供了一組API,當指定的文件或目錄發生變化時,由其向應用程序發出通知。

  FAM由兩部分組成:後台守護程序fam,它負責接收請求和發送通知;庫文件libfam,客戶端應用程序用它來與FAM通信。

  若遠程主機打開了受監視的文件,本地的fam會與遠程主機的fam聯系,將請求發送給遠程fam。

  Fam也可以在某個文件開始或停止運行時通知它的客戶端。(比如:在IRIX交互桌面中,如果一個程序正在運行那麼它的圖標就會不會閃爍)。

  Fam是由BrUCe Karsh在1989年為IRIX編寫的,並由Bob Miller在1995年重寫。這個公開源代碼的fam版本構建並運行於Linux和IRIX之上,與IRIX6.5.8中的fam相同。

  什麼是IMON?

  imon就是信息節點監視模塊,它是內核的一部分,當文件有變動時由它通知fam。由應用程序告訴fam對某個目錄或文件進行監視,fam再將這個請求傳送給imon。當被監視的這些文件有變化時,內核通知imon,再由imon通知fam,最後由fam通知負責監視這個文件的應用程序。

  imon是由Wiltse Carpenter在1989年為IRIX的內核編寫的,再由Roger Chickering移植到Linux下。Linux下的imon內核補丁與IRIX下的imon在許多方面都很類似,只是與內核文件系統的掛接代碼不同。

  安裝FAM和IMON

  可從SGI的網站下載FAM和IMON,具體詳情請查看後面的資源列表。IMON是一個內核補丁,內核通過它監視內部信息節點。安裝補丁的方法如下:在內核的源文件目錄下運行補丁程序。

cd/usr/src/linux pathch –pi<pathchfile。

  然後運行config或menuconfig,在”文件系統選擇”這部分選擇”Inode Monitor(imon) support (EXPERIMENTAL)”,編譯內核重啟系統。編譯FAM本身是很簡單的,在fam的源文件目錄下運行./configure和make all install就大功告成了。

  下面我們將要安裝SGI::FAM調用的Perl模塊,我們可以用perl來編寫事件處理程序。

  安裝 SGI::FAM Perl模塊

  你不會真的要用C/C++來編程吧?我不了解你的情況,但是我很懶惰,而且我這個人也缺乏耐心,所以我用perl編寫復制管理程序。

  有關下載安裝SGI::FAM的問題可以找Jesse N.Glick([email protected])聯系。安裝這些模快很簡單,運行CPAN模塊:

perl –MCPAN –e shell install SGI::FAM

  這樣就安裝了SGI::FAM及全部必須模塊。

用fam_mirror實現復制

  fam_mirror是我寫的用於自動復制的script程序。要了解fam_mirror的具體情況,你可以在http://www.linuxfocus.org/common/src/article199/fam_mirror.Html去查看,如果要下載fam_mirror,請到http://www.linuxfocus.org/common/src/article199/fam_mirror。你可以重新編輯這個程序,將$replicaHosts改為當前的主機、$rsh改為當前使用的shell,也可以將$rsync改為實現相同功能的命令。

  下面我們來看第一個方案:

  有兩台機器做WEB服務器(web1,web2)。其中一個為主服務器(如web1),另外一個為從服務器(web2)。第一個FTP服務器是web1,web2上根本不能運行FTP服務(否則,系統工作於備份方式時用戶還可能會向文件中寫數據)。

  在兩台服務器中,web文檔都放在/var/www目錄中,在兩台機器中設置rsh或ssh,使web1無需口令就可以在web2上運行遠程命令。我通常是在復制主機中的authorized_keys中填加我的ssh_key來實現這個要求的。將web1的數據遠程同步到web2上的命令是:

rsync –avz /var/wwwweb2:/var/www/

  編輯fam_mirror文件,將@replicaHosts改為:

  

@replicaHosts=qw(web2)

  在web1上運行fam_mirror:

fam_mirror /var/www &

  這樣,如果web1上的文件發生了變化,這種變化也會寫到web2上的文件中。

  現在我們來看看方案2:(系統中有多台WEB服務器)

  主機linuxweb1、linuxweb2、linuxweb3和linuxweb4都是web服務器。主機Linuxftp 1是ftp服務器(主服務器)。Web主機不向用戶開放FTP服務。

  在主機linuxftp1上安裝fam和imon、SGI::FAM及fam_mirror。在每台主機上置rsh或ssh。linuxftp1無需口令就可以在四台WEB服務器上運行遠程命令。

  編輯fam_mirror,將@replicaHosts設置為:

@replicaHosts=qw(linuxweb1 linuxweb2 linuxweb3 linuxweb4);

  如果有需要也可以改動$rsh和$rsync,假設WEB文本放在各個機器的/var/www目錄下。

  在linuxftp 1上運行:

INIT_MIRROR=1 fam_mirror /var/www &

  這樣,四台WEB服務器都能對linuxftp 1上改變的文件進行更新。

  存在的問題

  文中提出的解決方案存在一個小問題:碰到比較大的目錄就不工作了,如含有四千到五千個子目錄的情況。可能是內核不堪重負了。我正在找到產生這個問題的原因,一有發現我就會寫到文章中的。如果你已經知道了解決這個問題的方法,請來信告知我。




Copyright © Linux教程網 All Rights Reserved