歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux綜合 >> Linux資訊 >> Linux業界 >> Twitter重造Google的秘密武器

Twitter重造Google的秘密武器

日期:2017/2/27 17:33:00   编辑:Linux業界

CBF_008

Google 擁有許多數據中心,它如何進行管理呢?答案就是軟件系統 Borg。通過 Borg,公司可以將眾多數據中心視為一個電腦,進行統一管理。Borg 是公司保存最好的秘密之一。不過,Twitter 工程師們開發了一個類似的系統,並且是開源的。這就是 Mesos。Wired 網站為我們揭開了 Mesos 開發背後的故事。

Borg 由工程師 John Wilkes 主導開發。他並不喜歡 Borg 這個名字,“我樂意稱其為那個不會被命名的系統”。Google 使用這個系統已經有九到十年的時間,而且他的團隊正在開發新的版本,代號是 Omega。

通過 Borg,Google 可以在大量的服務器之間有效分配任務。根據 Wilkes 的說法,這個系統非常有效,它為 Google 節省了一個數據中心。

Borg 是 Google 的秘密。不過,Twitter 的工程師已經構建了一個類似的系統:Mesos。Mesos 計劃的創始人是 Ben Hindman。

Mesos 項目開始於 5 年前。當時 Hindman 在加州大學伯克利分校攻讀計算機科學博士學位。他從英特爾那裡獲得了一些實驗性的計算機芯片。這些芯片是“多核處理器”。通過將芯片結合在一起,他構建了 64 核,甚至是 128 核的機器,並且編寫了軟件系統,以便在這些芯片間均衡地分配任務。在此過程中,他意識到,這個系統可以應用到整個數據中心,“單一芯片上的 64 核或者 128 核,看起來很像是一個數據中心的 64 台或 128 台機器”。

與此同時,他的一些朋友,包括 Andy Konwinsik 和 Matei Zaharia,正在開發跨數據中心的軟件平台,就是“分布式系統”。Hindman 和朋友們決定一起開發項目。他們合作的成果是 Mesos,一種更有效地運行分布式系統的方法。通過 Mesos,他們可以在單一的服務器集群上運行多個分布式系統。

在 Mesos 計劃開始一年後,Hindman 和他的同事在 Twitter 進行了演講,並引起了 twitter 三位工程師的興趣。這三個人曾在 Google 工作。他們告訴 Hindman 說,他們懷念 Borg,Mesos 似乎是重構這個系統的完美方式。

很快,Hindman 成為 Twitter 的顧問,與這些前 Google 工程師們一起擴展了 Mesos 項目。他最終成為了 Twitter 的全職員工。

Mesos 項目引起了 Google 的注意。John Wilkes 說,“我們發現他們在做的事情,我開始安排他們到這裡,大概是每六個月來一次,只是聊聊天”。

Mesos 與 Borg 的基礎理念是相同的。根據 Hindman 的說法,Google 構建的新版本 Borg Omega,會更接近 Mesos 模式。

由於 Mesos 的開源性質,一些公司已經開始使用它,包括 AirBNB 和 Conviva。Borg 也會在不久的將來揭開面紗。John Wilkes 說,Google 近期會發表關於 Borg 的論文,因為公司相信這類工具已經達到一定的成熟度了。

Wired 網站認為,從長期來看,會有越來越多的公司跟隨 Google 和 Twitter 的步伐。

Google 和 Twitter 對待數據中心就像一台大型電腦。逐漸地,整個世界都會這麼做。這是計算機技術進步的方式。我們開始於一個復雜的界面,然後轉移到不復雜的界面。這發生在桌面電腦、筆記本電腦和服務器上。如今,這也發生在數據中心。

Copyright © Linux教程網 All Rights Reserved