歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux綜合 >> Linux資訊 >> 更多Linux >> Linux 集群系統大比拼(1)

Linux 集群系統大比拼(1)

日期:2017/2/27 9:41:35   编辑:更多Linux

 LinuxWorld 專欄作家Rawn Shah 作為專家,在 Linux 現有的開放源碼和封閉源碼集群解決方案方面為您指點迷津。計算 Linux 中集群項目的數量就象計算硅谷中創業公司的數量一樣。不象 Windows NT 已經受其自身的封閉環境阻礙,Linux 有大量的集群系統可供選擇,適合於不同的用途和需要。但確定應該使用哪一個集群的工作卻沒有因此變得簡單。問題的部分原因在於術語集群用於不同場合。IT 經理可能關心如何使服務器運行時間更長,或使應用程序運行得更快,而數學家可能更關心在服務器上進行大規模數值計算。兩者都需要群集,但是各自需要不同特性的群集。本文調查了不同形式的集群以及許多實現中的一部分,這些實現可以買到,也可以免費軟件形式獲得。盡管列出的所有解決方案並不都是開放源碼,但是大多數軟件都遵循分發 Linux 源碼的公共慣例,特別是由於那些實現集群的人還常常希望調整系統性能,以滿足需要。硬件集群總是涉及到機器之間的硬件連接。在現今大多數情況下,這只是指“快速以太網”網卡和集線器。但在尖端科學領域中,有許多專為集群設計的網絡接口卡。它們包括 Myricom 的 Myrinet、Giganet 的 cLAN 和 IEEE 1596 標准可伸縮一致接口 (SCI)。那些卡的功能不但在群集的節點之間提供高帶寬,而且還減少延遲(發送消息所用的時間)。對於在節點間交換狀態信息以使其操作保持同步情況,那些延遲是至關重要的。MyricomMyricom 提供網卡和交換機,其單向互連速度最高可達到 1.28 Gbps。網卡有兩種形式,銅線型和光纖型。銅線型 LAN 可以在 10 英尺距離內以全速進行通信,而在長達 60 英尺距離內以半速進行操作。光纖型 Myrinet 可以在 6.25 英裡長的單模光纖或者 340 英尺長的多模光纖上全速運行。Myrinet 只提供直接點到點、基於集線器或基於交換機的網絡配置,但在可以連接到一起的交換光纖數量方面沒有限制。添加交換光纖只會增加節點間的延遲。兩個直接連接的節點之間的平均延遲是 5 到 18 微秒,比以太網快得多。集群類型最常見的三種群集類型包括高性能科學群集、負載均衡群集和高可用性群集。科學群集通常,第一種涉及為群集開發並行編程應用程序,以解決復雜的科學問題。這是並行計算的基礎,盡管它不使用專門的並行超級計算機,這種超級計算機內部由十至上萬個獨立處理器組成。但它卻使用商業系統,如通過高速連接來鏈接的一組單處理器或雙處理器 PC,並且在公共消息傳遞層上進行通信以運行並行應用程序。因此,您會常常聽說又有一種便宜的 Linux 超級計算機問世了。但它實際是一個計算機群集,其處理能力與真的超級計算機相等,通常一套象樣的群集配置開銷要超過 $100,000。這對一般人來說似乎是太貴了,但與價值上百萬美元的專用超級計算機相比還算是便宜的。負載均衡群集負載均衡群集為企業需求提供了更實用的系統。如名稱所暗示的,該系統使負載可以在計算機群集中盡可能平均地分攤處理。該負載可能是需要均衡的應用程序處理負載或網絡流量負載。這樣的系統非常適合於運行同一組應用程序的大量用戶。每個節點都可以處理一部分負載,並且可以在節點之間動態分配負載,以實現平衡。對於網絡流量也如此。通常,網絡服務器應用程序接受了太多入網流量,以致無法迅速處理,這就需要將流量發送給在其它節點上運行的網絡服務器應用。還可以根據每個節點上不同的可用資源或網絡的特殊環境來進行優化?高可用性群集高可用性群集的出現是為了使群集的整體服務盡可能可用,以便考慮計算硬件和軟件的易錯性。如果高可用性群集中的主節點發生了故障,那麼這段時間內將由次節點代替它。次節點通常是主節點的鏡像,所以當它代替主節點時,它可以完全接管其身份,並且因此使系統環境對於用戶是一致的。在群集的這三種基本類型之間,經常會發生混合與交雜。於是,可以發現高可用性群集也可以在其節點之間均衡用戶負載,同時仍試圖維持高可用性程度。同樣,可以從要編入應用程序的群集中找到一個並行群集,它可以在節點之間執行負載均衡。盡管集群系統本身獨立於它在使用的軟件或硬件,但要有效運行系統時,硬件連接將起關鍵作用。GiganetGiganet 是用於 Linux 平台的虛擬接口 (VI) 體系結構卡的第一家供應商,提供 cLAN卡和交換機。VI 體系結構是獨立於平台的軟件和硬件系統,它由 Intel 開發,用於創建群集。它使用自己的網絡通信協議在服務器之間直接交換數據,而不是使用 IP,並且它並不打算成為 WAN 可路由的系統。現在,VI 的未來取決於正在進行的“系統 I/O 組”的工作,這個小組本是 Intel 領導的“下一代 I/O”小組與 IBM 和 Compaq 領導的“未來 I/O 小組”的合並。Giganet 產品當前可以在節點之間提供 1 Gbps 單向通信,最小延遲為 7 微秒。IEEE SCIIEEE 標准 SCI 的延遲更少(低於 2.5 微秒),並且其單向速度可達到 400 MB/秒 (3.2 Gbps)。SCI 是基於環拓撲的網絡系統,不像以太網是星形拓撲。這將使在較大規模的節點之間通信速度更快。更有用的是環面拓撲網絡,它在節點之間有許多環形結構。兩維環面可以用 n 乘 m 的網格表示,其中在每一行和每一列都有一個環形網絡。三維環面也類似,可以用三維立體節點網格表示,每一層上有一個環形網絡。密集超級計算並行系統使用環面拓撲網絡,為成百上千個節點之間的通信提供相對最快的路徑。大多數操作系統的限制因素不是操作系統或網絡接口,而是服務器的內部 PCI 總線系統。幾乎所有台式 PC 通常有基本 32-位,33-MHz PCI,並且大多數低端服務器只提供 133 MB/秒 (1 Gbps),這限制了那些網卡的能力。一些昂貴的高端服務器,如 CompaqProliant 6500 和 IBM Netfinity 7000 系列,都有 64-位, 66-MHz 網卡,它們能夠以四倍速度運行。不幸地是,矛盾是更多公司使用低端的系統,因此大多數供應商最終生產和銷售更多低端 PCI 網卡。也有專門的 64-位,66-MHz PCI 網卡,但價格要貴許多。例如,Intel 提供了這種類型的“快速以太網”網卡,價格約 $400 到 $500,幾乎是普通 PCI 版本價格的 5 倍。 QQread.com 推出各大專業服務器評測 Linux服務器的安全性能 SUN服務器 HP服務器 DELL服務器 IBM服務器 聯想服務器 浪潮服務器 曙光服務器 同方服務器 華碩服務器 寶德服務器

 LinuxWorld 專欄作家Rawn Shah 作為專家,在 Linux 現有的開放源碼和封閉源碼集群解決方案方面為您指點迷津。計算 Linux 中集群項目的數量就象計算硅谷中創業公司的數量一樣。不象 Windows NT 已經受其自身的封閉環境阻礙,Linux 有大量的集群系統可供選擇,適合於不同的用途和需要。但確定應該使用哪一個集群的工作卻沒有因此變得簡單。問題的部分原因在於術語集群用於不同場合。IT 經理可能關心如何使服務器運行時間更長,或使應用程序運行得更快,而數學家可能更關心在服務器上進行大規模數值計算。兩者都需要群集,但是各自需要不同特性的群集。本文調查了不同形式的集群以及許多實現中的一部分,這些實現可以買到,也可以免費軟件形式獲得。盡管列出的所有解決方案並不都是開放源碼,但是大多數軟件都遵循分發 Linux 源碼的公共慣例,特別是由於那些實現集群的人還常常希望調整系統性能,以滿足需要。硬件集群總是涉及到機器之間的硬件連接。在現今大多數情況下,這只是指“快速以太網”網卡和集線器。但在尖端科學領域中,有許多專為集群設計的網絡接口卡。它們包括 Myricom 的 Myrinet、Giganet 的 cLAN 和 IEEE 1596 標准可伸縮一致接口 (SCI)。那些卡的功能不但在群集的節點之間提供高帶寬,而且還減少延遲(發送消息所用的時間)。對於在節點間交換狀態信息以使其操作保持同步情況,那些延遲是至關重要的。MyricomMyricom 提供網卡和交換機,其單向互連速度最高可達到 1.28 Gbps。網卡有兩種形式,銅線型和光纖型。銅線型 LAN 可以在 10 英尺距離內以全速進行通信,而在長達 60 英尺距離內以半速進行操作。光纖型 Myrinet 可以在 6.25 英裡長的單模光纖或者 340 英尺長的多模光纖上全速運行。Myrinet 只提供直接點到點、基於集線器或基於交換機的網絡配置,但在可以連接到一起的交換光纖數量方面沒有限制。添加交換光纖只會增加節點間的延遲。兩個直接連接的節點之間的平均延遲是 5 到 18 微秒,比以太網快得多。集群類型最常見的三種群集類型包括高性能科學群集、負載均衡群集和高可用性群集。科學群集通常,第一種涉及為群集開發並行編程應用程序,以解決復雜的科學問題。這是並行計算的基礎,盡管它不使用專門的並行超級計算機,這種超級計算機內部由十至上萬個獨立處理器組成。但它卻使用商業系統,如通過高速連接來鏈接的一組單處理器或雙處理器 PC,並且在公共消息傳遞層上進行通信以運行並行應用程序。因此,您會常常聽說又有一種便宜的 Linux 超級計算機問世了。但它實際是一個計算機群集,其處理能力與真的超級計算機相等,通常一套象樣的群集配置開銷要超過 $100,000。這對一般人來說似乎是太貴了,但與價值上百萬美元的專用超級計算機相比還算是便宜的。負載均衡群集負載均衡群集為企業需求提供了更實用的系統。如名稱所暗示的,該系統使負載可以在計算機群集中盡可能平均地分攤處理。該負載可能是需要均衡的應用程序處理負載或網絡流量負載。這樣的系統非常適合於運行同一組應用程序的大量用戶。每個節點都可以處理一部分負載,並且可以在節點之間動態分配負載,以實現平衡。對於網絡流量也如此。通常,網絡服務器應用程序接受了太多入網流量,以致無法迅速處理,這就需要將流量發送給在其它節點上運行的網絡服務器應用。還可以根據每個節點上不同的可用資源或網絡的特殊環境來進行優化?高可用性群集高可用性群集的出現是為了使群集的整體服務盡可能可用,以便考慮計算硬件和軟件的易錯性。如果高可用性群集中的主節點發生了故障,那麼這段時間內將由次節點代替它。次節點通常是主節點的鏡像,所以當它代替主節點時,它可以完全接管其身份,並且因此使系統環境對於用戶是一致的。在群集的這三種基本類型之間,經常會發生混合與交雜。於是,可以發現高可用性群集也可以在其節點之間均衡用戶負載,同時仍試圖維持高可用性程度。同樣,可以從要編入應用程序的群集中找到一個並行群集,它可以在節點之間執行負載均衡。盡管集群系統本身獨立於它在使用的軟件或硬件,但要有效運行系統時,硬件連接將起關鍵作用。GiganetGiganet 是用於 Linux 平台的虛擬接口 (VI) 體系結構卡的第一家供應商,提供 cLAN卡和交換機。VI 體系結構是獨立於平台的軟件和硬件系統,它由 Intel 開發,用於創建群集。它使用自己的網絡通信協議在服務器之間直接交換數據,而不是使用 IP,並且它並不打算成為 WAN 可路由的系統。現在,VI 的未來取決於正在進行的“系統 I/O 組”的工作,這個小組本是 Intel 領導的“下一代 I/O”小組與 IBM 和 Compaq 領導的“未來 I/O 小組”的合並。Giganet 產品當前可以在節點之間提供 1 Gbps 單向通信,最小延遲為 7 微秒。IEEE SCIIEEE 標准 SCI 的延遲更少(低於 2.5 微秒),並且其單向速度可達到 400 MB/秒 (3.2 Gbps)。SCI 是基於環拓撲的網絡系統,不像以太網是星形拓撲。這將使在較大規模的節點之間通信速度更快。更有用的是環面拓撲網絡,它在節點之間有許多環形結構。兩維環面可以用 n 乘 m 的網格表示,其中在每一行和每一列都有一個環形網絡。三維環面也類似,可以用三維立體節點網格表示,每一層上有一個環形網絡。密集超級計算並行系統使用環面拓撲網絡,為成百上千個節點之間的通信提供相對最快的路徑。大多數操作系統的限制因素不是操作系統或網絡接口,而是服務器的內部 PCI 總線系統。幾乎所有台式 PC 通常有基本 32-位,33-MHz PCI,並且大多數低端服務器只提供 133 MB/秒 (1 Gbps),這限制了那些網卡的能力。一些昂貴的高端服務器,如 CompaqProliant 6500 和 IBM Netfinity 7000 系列,都有 64-位, 66-MHz 網卡,它們能夠以四倍速度運行。不幸地是,矛盾是更多公司使用低端的系統,因此大多數供應商最終生產和銷售更多低端 PCI 網卡。也有專門的 64-位,66-MHz PCI 網卡,但價格要貴許多。例如,Intel 提供了這種類型的“快速以太網”網卡,價格約 $400 到 $500,幾乎是普通 PCI 版本價格的 5 倍。 QQread.com 推出各大專業服務器評測 Linux服務器的安全性能 SUN服務器 HP服務器 DELL服務器 IBM服務器 聯想服務器 浪潮服務器 曙光服務器 同方服務器 華碩服務器 寶德服務器

 LinuxWorld 專欄作家Rawn Shah 作為專家,在 Linux 現有的開放源碼和封閉源碼集群解決方案方面為您指點迷津。計算 Linux 中集群項目的數量就象計算硅谷中創業公司的數量一樣。不象 Windows NT 已經受其自身的封閉環境阻礙,Linux 有大量的集群系統可供選擇,適合於不同的用途和需要。但確定應該使用哪一個集群的工作卻沒有因此變得簡單。問題的部分原因在於術語集群用於不同場合。IT 經理可能關心如何使服務器運行時間更長,或使應用程序運行得更快,而數學家可能更關心在服務器上進行大規模數值計算。兩者都需要群集,但是各自需要不同特性的群集。本文調查了不同形式的集群以及許多實現中的一部分,這些實現可以買到,也可以免費軟件形式獲得。盡管列出的所有解決方案並不都是開放源碼,但是大多數軟件都遵循分發 Linux 源碼的公共慣例,特別是由於那些實現集群的人還常常希望調整系統性能,以滿足需要。硬件集群總是涉及到機器之間的硬件連接。在現今大多數情況下,這只是指“快速以太網”網卡和集線器。但在尖端科學領域中,有許多專為集群設計的網絡接口卡。它們包括 Myricom 的 Myrinet、Giganet 的 cLAN 和 IEEE 1596 標准可伸縮一致接口 (SCI)。那些卡的功能不但在群集的節點之間提供高帶寬,而且還減少延遲(發送消息所用的時間)。對於在節點間交換狀態信息以使其操作保持同步情況,那些延遲是至關重要的。MyricomMyricom 提供網卡和交換機,其單向互連速度最高可達到 1.28 Gbps。網卡有兩種形式,銅線型和光纖型。銅線型 LAN 可以在 10 英尺距離內以全速進行通信,而在長達 60 英尺距離內以半速進行操作。光纖型 Myrinet 可以在 6.25 英裡長的單模光纖或者 340 英尺長的多模光纖上全速運行。Myrinet 只提供直接點到點、基於集線器或基於交換機的網絡配置,但在可以連接到一起的交換光纖數量方面沒有限制。添加交換光纖只會增加節點間的延遲。兩個直接連接的節點之間的平均延遲是 5 到 18 微秒,比以太網快得多。集群類型最常見的三種群集類型包括高性能科學群集、負載均衡群集和高可用性群集。科學群集通常,第一種涉及為群集開發並行編程應用程序,以解決復雜的科學問題。這是並行計算的基礎,盡管它不使用專門的並行超級計算機,這種超級計算機內部由十至上萬個獨立處理器組成。但它卻使用商業系統,如通過高速連接來鏈接的一組單處理器或雙處理器 PC,並且在公共消息傳遞層上進行通信以運行並行應用程序。因此,您會常常聽說又有一種便宜的 Linux 超級計算機問世了。但它實際是一個計算機群集,其處理能力與真的超級計算機相等,通常一套象樣的群集配置開銷要超過 $100,000。這對一般人來說似乎是太貴了,但與價值上百萬美元的專用超級計算機相比還算是便宜的。負載均衡群集負載均衡群集為企業需求提供了更實用的系統。如名稱所暗示的,該系統使負載可以在計算機群集中盡可能平均地分攤處理。該負載可能是需要均衡的應用程序處理負載或網絡流量負載。這樣的系統非常適合於運行同一組應用程序的大量用戶。每個節點都可以處理一部分負載,並且可以在節點之間動態分配負載,以實現平衡。對於網絡流量也如此。通常,網絡服務器應用程序接受了太多入網流量,以致無法迅速處理,這就需要將流量發送給在其它節點上運行的網絡服務器應用。還可以根據每個節點上不同的可用資源或網絡的特殊環境來進行優化?高可用性群集高可用性群集的出現是為了使群集的整體服務盡可能可用,以便考慮計算硬件和軟件的易錯性。如果高可用性群集中的主節點發生了故障,那麼這段時間內將由次節點代替它。次節點通常是主節點的鏡像,所以當它代替主節點時,它可以完全接管其身份,並且因此使系統環境對於用戶是一致的。在群集的這三種基本類型之間,經常會發生混合與交雜。於是,可以發現高可用性群集也可以在其節點之間均衡用戶負載,同時仍試圖維持高可用性程度。同樣,可以從要編入應用程序的群集中找到一個並行群集,它可以在節點之間執行負載均衡。盡管集群系統本身獨立於它在使用的軟件或硬件,但要有效運行系統時,硬件連接將起關鍵作用。GiganetGiganet 是用於 Linux 平台的虛擬接口 (VI) 體系結構卡的第一家供應商,提供 cLAN卡和交換機。VI 體系結構是獨立於平台的軟件和硬件系統,它由 Intel 開發,用於創建群集。它使用自己的網絡通信協議在服務器之間直接交換數據,而不是使用 IP,並且它並不打算成為 WAN 可路由的系統。現在,VI 的未來取決於正在進行的“系統 I/O 組”的工作,這個小組本是 Intel 領導的“下一代 I/O”小組與 IBM 和 Compaq 領導的“未來 I/O 小組”的合並。Giganet 產品當前可以在節點之間提供 1 Gbps 單向通信,最小延遲為 7 微秒。IEEE SCIIEEE 標准 SCI 的延遲更少(低於 2.5 微秒),並且其單向速度可達到 400 MB/秒 (3.2 Gbps)。SCI 是基於環拓撲的網絡系統,不像以太網是星形拓撲。這將使在較大規模的節點之間通信速度更快。更有用的是環面拓撲網絡,它在節點之間有許多環形結構。兩維環面可以用 n 乘 m 的網格表示,其中在每一行和每一列都有一個環形網絡。三維環面也類似,可以用三維立體節點網格表示,每一層上有一個環形網絡。密集超級計算並行系統使用環面拓撲網絡,為成百上千個節點之間的通信提供相對最快的路徑。大多數操作系統的限制因素不是操作系統或網絡接口,而是服務器的內部 PCI 總線系統。幾乎所有台式 PC 通常有基本 32-位,33-MHz PCI,並且大多數低端服務器只提供 133 MB/秒 (1 Gbps),這限制了那些網卡的能力。一些昂貴的高端服務器,如 CompaqProliant 6500 和 IBM Netfinity 7000 系列,都有 64-位, 66-MHz 網卡,它們能夠以四倍速度運行。不幸地是,矛盾是更多公司使用低端的系統,因此大多數供應商最終生產和銷售更多低端 PCI 網卡。也有專門的 64-位,66-MHz PCI 網卡,但價格要貴許多。例如,Intel 提供了這種類型的“快速以太網”網卡,價格約 $400 到 $500,幾乎是普通 PCI 版本價格的 5 倍。




Copyright © Linux教程網 All Rights Reserved