歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux綜合 >> Linux資訊 >> Linux業界 >> 基於linux的集群系統(一)

基於linux的集群系統(一)

日期:2017/2/27 11:12:54   编辑:Linux業界

內容:

集群系統的分類
集群系統采用的操作系統
作者簡介

集群系統概述
許廣斌 ([email protected])
工程師
2001 年 5 月

本文是《基於LINUX的集群系統》系列文章的第一篇。作者就集群系統這一概念進行了概述,介紹了集群系統的發展以及國內外主要的集群系統解決方案。
第一台計算機問世已經半個世紀了,在這期間計算機技術經歷了五次更新換代。更新換代的標志主要有兩個:一個是計算機的器件,另一個是系統體系結構。從第一代到第五代計算機,器件發生了根本的變化:從電子管、晶體管發展到集成電路,而集成電路又經小規模、中規模、大規模、非常大規模等階段發展到超大規模階段。系統體系結構的不斷改進,許多重要的概念的不斷提出並且得到實現,推動計算機技術向更高的層次發展。從早期的變址寄存器、通用寄存器、程序中斷和I/O通道等概念,到虛擬存儲器、Cache存儲器、微程序設計、系列機、基於總線的多CPU系統、向量處理機等概念,發展到64位RISC處理器、基於MPP、NUMA、集群等體系結構的可伸縮並行處理系統,計算機系統技術也取得了突飛猛進的發展。

將多台同構或異構的計算機連接起來協同完成特定的任務就構成了集群系統。早在二十世紀七八十年代,Digital equipment公司和Tandem計算機公司就開始了集群系統的研究與開發工作。

集群系統主要分為兩種:
高可用性集群和高性能集群。

高可用性集群的主要功能就是提供不間斷的服務。有許多應用程序都必須一天二十四小時地不停運轉,如所有的web服務器、工業控制器、ATM、遠程通訊轉接器、醫學與軍事監測儀以及股票處理機等。對這些應用程序而言,暫時的停機都會導致數據的丟失和災難性的後果。

高性能集群通過將多台機器連接起來同時處理復雜的計算問題。模擬星球附近的磁場、預測龍卷風的出現、定位石油資源的儲藏地等情況都需要對大量的數據進行處理。傳統的處理方法是使用超級計算機來完成計算工作,但是超級計算機的價格比較昂貴,而且可用性和可擴展性不夠強,因此集群成為了高性能計算領域矚目的焦點。

集群系統采用的操作系統主要有VMS、UNIX、WindowsNT和Linux。

美國DEC公司(Digital Equipment Corporation)開發的VMScluster系統開發最早,技術也很成熟,應用也很廣泛,但由於VMS操作系統只能在DEC公司的VAX系列和Alpha系列服務器上運行,VMScluster的應用受到很大限制。

UNIX是服務器或工作站上普遍使用的操作系統,它運行穩定、安全性也比較好,因此許多大的公司都采用了基於UNIX的集群系統解決方案,如DEC、HP、SUN、IBM、NCR和DG等公司,其中在國內影響比較大的主要是DEC、HP、SUN和IBM。其中DEC公司的Trucluster系統提供了由4台Digital Alpha Server組成的集群系統,它集高可靠性、高可用性和易管理性於一身,是關鍵業務計算機系統的理想解決方案。

基於WindowsNT的集群系統解決方案廠商主要有Mircrosoft和DEC。Microsoft於1995年就開始了集群系統的開發工作。Windows 2000中已經增加了集群功能,該高可用性集群叫做WolfPack,也叫做Microsoft Cluster Server (MCS)。它主要是在企業級對基於Windows NT服務器的應用程序提供可用性和可升級性。WolfPack現在支持兩個服務器,一個用來對用戶提供服務,另一個作為備份服務器使用。Microsoft下一步的目標是將WolfPack支持的節點數擴展到16個。Wolfpack的缺陷在於:它只提供了兩個節點的失敗恢復功能,而沒有采用復雜的應用程序資源管理功能,因此在一定程度上影響了系統的高可用性、高可靠性和可升級性。Wolfpack不能支持多種操作系統,而只能運行於Windows NT操作系統上。由於WindowsNT操作系統本身在穩定性、大型並行計算上與UNIX系統存在較大差距,目前主要在中小型系統上應用。但是隨著WindowsNT系統走向成熟,基於WindowsNT的計算機集群系統將獲得更廣泛的應用。

九十年代末期,Linux操作系統不斷走向成熟,它的健壯性不斷增強,並且提供了GNU軟件和標准化的PVM、MPI消息傳遞機制,最重要的是Linux在普通PC機上提供了對高性能網絡的支持,這樣就大大推動了基於Linux的集群系統的發展。

Turbolinux公司推出了能夠顯著地提高基於TCP/IP協議的多種網絡服務的服務質量的高可用性集群系統Turbocluster。Red Hat也提供了基於Linux Virtual Server思想構建的高可用性集群系統Piranha。由Ericsson軟件工程研究中心開發的高可用性集群系統Eddie的主要目的是提供一個商業級的,能提供較好的服務質量的web服務器的解決方案。

Platform公司開發的高可用性集群系統Lsf提供了分布式集群系統的解決方案,通過將物理上分離的多個集群連接在一起使使多個同構或異構的計算機能夠通過局域網或廣域網共享計算資源,並能夠為用戶提供對資源的透明訪問。

高性能集群系統MOSIX為Linux核心增添了集群計算的功能。在MOSIX集群環境中,用戶無需對應用程序進行修改,或將應用程序與庫連接起來,或將應用程序分配到不同的節點上運行。MOSIX會自動將這些工作透明地交給別的節點來執行。

日本的F5公司開發出了高可用性集群BIG-IP,它是使用於本地網絡站點或數據中心的高可用的、智能化的負載平衡產品,它提供了對網絡流量的自動和智能的管理。與前幾種集群系統不同的是,BIG-IP向用戶提供的是一個即插即用設備,而其它的提供的都是軟件方法。

IBM、Microsoft和Intel於2000年7月聯合發布了一種高可用性服務器集群軟件及硬件包,這種服務器集群的配置包括32台IBM Netfinity 8500R及Intel Pentium Ⅲ Xeon處理器,運行IBM的DB2 Universal Database和Microsoft Windows 2000 Advanced Server操作系統,每分鐘可以執行440879次交易。這套系統面向數據密集的應用,特別是B2B、電子商務和企業資源規劃領域。

在科學計算領域中,人們開始把注意力投向通過普通PC機或工作站的集群來代替昂貴的超級計算機。比較成功的例子是高性能集群系統Beowulf,它最初是由NASA的Goddard Flight Center進行開發的,主要目的是支持大規模的科學計算問題,如地球和太空科學面臨的一些計算問題。

國內也有不少公司進行了集群系統的研究和開發工作。

聯想公司在1999年9月推出了用於分布式高性能計算的NS10000高性能集群服務器,該系統是一個四節點的系統,主要基於聯想萬全4500R服務器,以總體成本相對較低的設備組合,足以替代傳統RISC小型機和中型機的工作,而價格僅為市場上同等性能小型機的1/2--1/4。

朗新公司也推出了類似於Turbocluster的高可用性集群系統LongShine Cluster Server。

1999年9月20日,中國第一家專業面向Linux高端應用市場的集群網絡有限公司推出了國內首例Linux安全集群系統。它是國內第一個通過公安部認證的安全Linux系統,而其集群技術也已應用於諸多國際著名網站,如Linux的門戶www.linux.com、英國國家JANET Cache網、奧地利的入口站點和瑞士電信等。其核心代碼也已被納入美國Red Hat Linux發布版的核心。

中國自主開發研制的集群式高性能計算機集群系統"自強2000-SUHPCS"於2000年9月在上海大學問世。這一系統的峰值速度達到每秒3000億次浮點操作。是當前中國國內集群式高性能計算機系統中速度最快的。

作者簡介
許廣斌,男,工程師。您可以通過電子郵件 [email protected] 與他聯系。




Copyright © Linux教程網 All Rights Reserved