歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux綜合 >> Linux資訊 >> 更多Linux >> 中華網”高可用性數據存儲解決方案

中華網”高可用性數據存儲解決方案

日期:2017/2/27 9:25:28   编辑:更多Linux
  一、方案背景   中華網是美國納斯達克上市公司——中華網國際網絡通訊有限公司家族網站中的主要成員之一。截止到2000年第二季度,網站已經擁有超過630萬的注冊用戶,每日平均頁面浏覽量達2100萬,其中E-mail每天訪問量就達100多萬。在此背景下,原有的存儲備份方式遠不能滿足應用需求,為了對系統和用戶數據的安全負責,必須建立電子郵箱存儲系統和海量數據備份系統。    中華網的個人郵箱、個人網頁與個人信息存儲系統開通五個月以來,用戶從30萬增至100萬。同時全備份絕對數據量直線增加(E-mail 容量為700GB;個人信息為600GB),每日備份數據的增量也在同比增加。原來的DLT磁帶機傳輸速率太慢,備份一個系統就得花費好幾天時間,分配給在線備份的網絡資源有限,而網上業務又具有不可中斷的特點,因此要求新的存儲備份系統具有良好的性能、很高的備份效率和在線備份的能力。    中華網網站目前的存儲主要在於兩項業務:免費電子郵箱存儲系統,個人網頁和個人信息存儲系統。需求集中在大存儲量、高存儲速度、快速磁盤修復、高效備份恢復機制等方面,中華網的網站存儲方案就應該要求系統備份快速、存儲技術先進以及數據存儲系統高可用等。    二、存儲解決方案   基於上述方面的考慮,經權衡比較,我們選定了兩套系統的存儲產品與方案——基於SAN(Storage Area Network:存儲局域網)結構的免費電子郵箱存儲系統以及基於SAN結構的個人網頁和個人信息存儲系統。    存儲方案的核心在於SAN結構的實現,這也是方案的難點所在。由於軟件系統的設計與布置在SAN存儲方案中起著關鍵作用,下面主要介紹此方案的設計和實施。    根據中華網需求,主要采用VER99vAS的下列產品與技術:VER99vAS File System(VxFS);VER99vAS Volume Manager(VxVM) ;VER99vAS Cluster Server(VCS);以VER99vAS的Netbackup和Shared Storage Option(SSO)軟件為基本框架的LAN Free備份技術。    VxFS是一個解決文件系統快速恢復問題的日志式文件系統,多家硬件平台廠商也采用了VxFS技術。VxFS建立文件的索引區,將操作記錄在事件日志中,當系統發生意外時,能讓系統迅速、完全地得到恢復。VxFS提供文件系統的照相功能,保證了數據的在線備份,提供文件系統的在線擴展,並提高了I/O吞吐率。    磁盤的管理采用VxVM。VxVM成功地將應用系統和數據系統分開,使得應用系統不需考慮物理存儲的設計。VxVM采用邏輯卷的方式,配合VCS,可以迅速進行節點之間的數據轉移。VxVM的虛擬磁盤管理還可以獲得諸如在線修改文件系統、動態調整磁盤I/O性能、動態均衡磁盤I/O通道、文件系統快照等高級磁盤管理能力,這些能力大大減小了應用系統的壓力。    VCS是基於應用級的高可用性多機應用軟件,可以支持最多32台服務器協同工作,實現128個節點的Cluster能力,在各種Cluster軟件中優勢突出。作為多機的集群軟件,VCS可保證一旦任何應用出現故障,該應用系統會迅速切換到其它服務器上去。Cluster內的任意一個節點均可作為控制台,配置結束自動更新所有節點。VCS支持多種應用的檢測和切換,包括Web Server 、IP、數據庫、多網卡、NFS、文件系統、Disk、進程、SNMP、Netbackup和HSM等。在同一節點下,可以設置雙網卡冗余,一個網卡出現故障,VCS自動啟動第二網卡,無須進行節點切換。VCS還提供NT控制工具和界面,管理員可以做到無人現場值守即可監控Cluster的狀態。    我們采用了VER99vAS的LAN Free Backup來實現SAN方案。我們建立了光通道共享磁帶機備份系統,備份軟件采用VER99vAS的SSO,這是目前為數極少的能支持共享磁帶機直接備份的軟件產品。Netbackup軟件和SSO構成LAN Free備份的基本框架。LAN Free備份具有以下特點:采用光纖存儲網絡技術,磁帶庫與光纖交換網絡相連;SCSI的磁帶庫產品可以通過連接設備連入光纖網絡;多台服務器進行數據的直接備份,無須經過局域網,減少應用網絡的壓力,節省網絡資源;通過SSO,多台服務器可共享磁帶機,構成完整的備份系統。SSO是一項共享磁帶庫技術,它指定某台服務器作為對存儲進行協調的主服務器,可實現多台服務器協調備份,解決了SCSI技術中多台服務器備份沖突問題。它徹底解決了光通道技術下的共享備份問題。


   網站存儲解決方案還采用了FlashBackup(閃存儲)技術。FlashBackup是一項技術突破,它是為了解決在小文件非常多時,磁帶搜索時間大於讀寫備份時間的問題而開發的技術。FlashBackup為文件系統的備份提供了近似物理備份的高速和文件系統的備份一致性,大大提高了多數量文件系統的備份的效率。    三、存儲解決方案的效果   中華網的存儲解決方案集中采用了先進的存儲技術,具有鮮明的高可用性和高技術含量的特點。VCS的應用切換功能使應用中斷的風險大大降低,保證了系統的高可用性。VCS實現真正意義上的應用級切換,整個系統內的所有資源被按應用類型分組,當一個節點運行多個應用時,VCS按多個應用進行檢測,某一應用發生故障時,只需將此應用進行切換,不會干擾正常應用。采用LAN Free備份、FlashBackup等新技術的SAN網絡結構也是系統高可用性的可靠保障。    通過以軟件為核心實現數據高可用方案,中華網存儲系統以經濟的成本有效地解決了原有存儲問題。免費電子郵箱存儲系統采用集群式多點接入方式,能實現Cluster的應用切換和關鍵設備冗余無單點故障,並能夠隨用戶增加而在線增加服務器和存儲設備。個人網頁和個人信息存儲系統實現了服務器直接進行數據備份。在網站的一次數據備份實測試驗中,采用VER99vAS的閃備份方式,單台磁帶機的實測平均備份速率達到25GB/小時,這一速率距相應磁帶機的理論速率已相去不遠,按此計算,原來備份需要幾天時間的個人網頁和個人信息存儲系統,目前備份只需幾個小時。該方案的實施和應用,不僅明顯提高了中華網網站數據的存取利用效率,而且更重要的是提供了數據的可靠備份,保證了數據的高可用性。



right">



Copyright © Linux教程網 All Rights Reserved