歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux綜合 >> Linux資訊 >> 更多Linux >> 安裝Linux高性能計算集群

安裝Linux高性能計算集群

日期:2017/2/27 14:26:31   编辑:更多Linux
  將一個新實施集群框架遷移到可用的高性能計算集群的第一個挑戰就是像第三方軟件包一樣安裝操作系統。在4到8個點的集群中,可以手動的安裝每一個節點。但是,較大規模的,工業化的集群要求更有效的方法。本文描述了不同類型的集群配置,高效的Linux安裝方法。和每一種方法的好處。     高性能計算集群的主節點和計算節點的配置使用三種主要的類型:松散結合型、適度結合型、和緊密結合型。每一個配置描述計算節點與主節點的依存關系(參見圖一)。盡管所有三種類型都要求主節點的可用性來保證任務的運行,但是主節點狀態對計算節點的可用性並不是必須的。     圖一:主集群的計算節點配置   從操作系統的視點來看,在松散結合型集群中計算節點是完全自主的機器。每節點都有一份操作系統(OS)的拷貝,這個操作系統允許任何人引導系統並登錄節點而不需要與與主節點聯系――除非網絡使用動態Internet協議(IP)地址。獲得動態IP地址失敗不會抑制一個節點的成功啟動,但是它會只能通過本地控制台訪問。     集群適度的結合將計算節點跟緊密的與主節點結合。在這配置,計算節點的引導過程中需要主節點的介入,在最簡模式,程序和信息需要在引導過程中定位主節點。一旦計算節點已經從主節點接收到所有需要的文件系統,他就會作為獨立的機器運轉並可以通過所有被定位的文件系統登錄。     緊密結合型系統對主節點的依靠更深入一步。計算節點必須通過網絡從主節點上加載操作系統。在緊密結合型集群中的計算節點不在本地存儲文件系統,除此以外可能會有交換(swap)或臨時(tmp)文件系統。從操作系統的視點出發,在計算節點和柱節點之間沒有太大的差別。確實不存在獨立登陸計算節點的能力。處理空間是平衡的所以集群看起來更像一個大的單片機而不像一個有小型的計算機組成的基群。     以下的章節解釋了建設和安裝理想類型集群的可以使用應用和方法。每一種配置都具有獨特的優勢和缺陷,並且討論和研究了哪一種配置最能適用於特別的需要。     安裝松散結合型集群   在松散結合型集群中,每一個計算節點都有一份操作系統的本地拷貝。最單調和令人厭煩的工作就是每次都使用CD進行安裝。自動安裝松散型集群的方法包括:     Kickstart文件   The Red Hat& Kickstart的安裝方式是讓用戶創建一個單一的簡單的文本文件來讓Red Hat Linux許多的安裝操作諸如語言選擇、網絡配置、鍵盤選擇、引導文件加載器的安裝(例如Linux Loader(LILO)或GRand Unified Bootloader(GRUB))、磁盤分區、鼠標選擇、和X Windows的配置。Kickstart文件包含三個部分:命令、軟件包列表、和腳本。     命令. 命令部分包含所有安裝選項例如語言和分區特征、網絡配置、和安裝方法。例如,管理員可以使用網絡配置選項來指定節點的IP地址、主機名稱、和網關。     Packages.以%packages命令為起始的Kickstart文件部分顯示需要安裝的軟件包的類表。可以將一個組成部分的名稱(對於一組相關的包)或獨立的軟件包名稱列入清單。     在Red Hat Linux 光盤(Redhat/base/comps)上的一個comps文件顯示了一些預定義的組件。用戶也可以建立他們自己的構架和所需要的軟件包列表。(注意:為建立一個構架,用戶必須建立一個新的含有國際標准化組織的帶有他們自己修改過的comps文件的標准化(ISO)鏡像CD-ROM。)文件的第一個組成部分顯示的是Linux運行所必需的軟件包的基本的組成部分。     腳本.管理員可以在Kickstart文件中使用'安裝後執行'命令來安裝沒有包含在CD-ROM中或更進一步協調的軟件包,組如定制的主機文件或允許SSH(安全外殼)。     安裝後執行的部分通常在Kickstart文件的結尾部分,並且以%post命令開始。要增加的軟件包必須是可以從服務器或者網絡上可以獲得的,通常是在主節點上。%post部分看起來如圖2中所示。這些例子命令將從IP地址為10.180.0.2的服務器上安裝名為my_driver.rpm的rpm包。     圖二:Kickstart文件安裝後執行命令   Red Hat 7.1包括一個Kickstart配置工具,一個圖形化用戶界面(GUI)的工具用來建立Kickstart文件(代替鍵入操作)。在選擇Kickstart操作之後,用戶可以點擊保存文件按鈕來生成kickstart文件。配置工具允許用戶來選擇更多的Kickstat文件需要的操作並為那些需要改變通常的文件來滿足他們需要的專業用戶提供更多的選擇。     Kickstart安裝方法   Kickstart文件中的安裝方法命令讓管理員定制安裝方法:使用本地CD-ROM或本地磁盤,或通過網絡文件系統(NFS),文件傳輸協議(FTP),或超文本傳輸協議(HTTP)。最麻煩的事情就是為每個節點創建Kickstart文件並將文件保存到Red Hat安裝引導軟盤上。當系統從軟盤引導時(Red Hat Linux CD必須在CD-ROM中,並且Kickstart文件必須指定從CD-ROM進行安裝),安裝進程自動基於軟盤上的Kickstart文件所制定的特備選項開始運行。每一個節點擁有不同的網絡設置(IP地址和主機名)並且顯然需要分別放置在不同的盤上。這種方式對於大規模的集群安裝是榮譽乏味的:它要求手動干涉將軟盤和CD從一個節點到另一個節點,除非你擁有很大數量的軟盤和CD可以在所有節點上同時進行安裝。     更有效的方法是通過網絡執行安裝。同樣的,每一個節點必須有自己的軟盤,但是不再需要CD。Kickstart文件的'安裝方法'部分需要更改為支持FTP或NFS安裝。一旦Red Hat使用Kickstart文件引導進行安裝,它就會從特定的網絡服務器上接收安裝鏡像文件(通常是主節點)。     在最經常使用的安裝方式中,管理員將Kickstart文件與CD鏡像文件一起放置在網絡中。引導協議/動態主機配置協議(BOOTP/DHCP)服務器和NFS服務器比選安置於本地網絡中,通常在集群的主節點中。BOOTP/DHCP服務器必須包含所有要在集群中安裝的設備的配置信息。BOOTP/DHCP服務器向網絡客戶提供網絡信息,就象安裝引導核心的位置和虛擬磁盤以及Kickstart文件的可能的位置。如果Kickstart文件的位置沒有被提供,安裝程序會嘗試著去讀取/kickstart/1.2.3.4-kickstart文件,其中1.2.3.4是在DHCP服務器中被安裝設備的IP地址。最終,NFS客戶端mount文件路徑,拷貝特定的文件到本地硬盤上,並像在Kickstart文件中描述的一樣開始對機器進行安裝。     使用系統鏡像器(Systemlmager)安裝集群   是遠程系統復制和維護系統,用來減少創建集群中自主系統的重復的步驟。系統鏡像器要求管理員在克隆剩余的計算節點前來安裝和配置一個樣本計算節點。這種方式的一個先進之處就是在安裝過程中,管理員不需要寫特殊的腳本來安裝附加的軟件包或配置系統設置。     在系統鏡像器方式中,將要被作為源或者樣本系統使用的計算節點被稱為'黃金客戶端'。管理員必須使用傳統的方法首先安裝和配置所以它對所有計算節點具有代表性。     系統鏡像器,是一個安裝在主節點的,然後使用getimage命令創建整個黃金客戶端機器的系統鏡像。這個鏡像只包含遠程設備的文件而不包含整個分區的鏡像,這樣可以節約空間。prepareclient命令建立一個分區信息表和被mount的文件系統的列表。這允許分區被建成具有相同數量的mount點和尺寸。     主節點現在包含用來創建黃金客戶端副本的信息(參見圖3)。在對計算節點的安裝過程中,addclient命令允許管理員調整每一個節點系統特定的配置信息。Addclient命令提示主機名基本信息和范圍、客戶鏡像、和IP地址。基本信息表現了主機名的靜態部分,范圍表現了附加主機名的開始和結束數值。例如,將node作為基本信息並且1-3作為范圍,那麼安裝路由將建立node1,node2,node3。     圖三:系統鏡像器安裝方法   當名稱轉換完成之後,管理員被提示指派安裝鏡像和IP地址到到這些機器上。主機名和相關的IP地址被加入主機名稱列表中,並在安裝和引導時被使用。     依賴於在主節點上完成這些步驟之後,必須對計算節點選擇引導方法引導方法。系統鏡像器核心和虛擬磁盤可以從便攜介質諸如軟盤和CD-ROM(分別通過makeautoinstallflopy或makeautoinsyalled命令創建)引導。另外,核心和虛擬磁盤可以通過預引導執行環境(PXE)進行網絡引導。     信筒鏡像器包含對Linux PXE 服務器(PXELinux)預建配置文件,該文件必須運行於主節點上。PXE來說是一種簡單的協議,該協議允許計算節點與BOOTP/DHCP服務器聯系。BOOTP(和DHCP,對BOOTP的擴展)允許服務器提供一個客戶端――通過硬件介質控制(MAC)地址識別――許多初始配置信息例如IP地址、子網掩碼、廣播地址、網絡地址、網關地址、主機名、以及核心和虛擬磁盤下載路徑。     一旦節點被引導,它必須重新獲得他的IP地址和主機名稱。這種操作是通過在主節點上的DHCP服務器指派所有的值或通過安置所有的值在每一個節點的引導軟盤上。系統鏡像器提供一個DHCP配置-創建協議,makedhcpserver,這些會聯系映射主機名和IP地址的DHCP 配置文件。Makedhcpstatic命令會創建一個在機器和主機名/IP地址對之間的靜態映射。     通過系統鏡像器維護集群   系統管理員也可以使用黃金客戶鏡像作為一個主管日志和一個單一的管理點來實施集群范圍內的修改――從一個文件到一個整體的軟件包。首先集群管理員在黃金客戶端上做需要的修改。然後,管理員可以從集群的基礎中更新現在正在使用的鏡像或創建一個新的鏡像。




Copyright © Linux教程網 All Rights Reserved