相比之下,Corona提供了如下所示的配置:

Facebook是這樣描述Corona:

“Corona引入了一個集群管理器,它的唯一目的是跟蹤集群中的節(jié)點和空閑資源的數(shù)量。每個作業(yè)都有一個專門的跟蹤器,并且可以運行在與客戶端相 同的進(jìn)程中(針對小型作業(yè)),或者作為集群中一個單獨的進(jìn)行(針對大型作業(yè))。這與之前Hadoop MapReduce部署的最大不同之處,在于Corona采用基于推送、而不是拉取的調(diào)度機制。在集群管理器接收到來自作業(yè)追蹤器的資源請求時,它將資源 推送回作業(yè)追蹤器。而且,一旦作業(yè)追蹤器獲得資源授予,它就會創(chuàng)建任務(wù),然后將這些任務(wù)推送到任務(wù)追蹤器中運行。在這個調(diào)度過程中,沒有周期性的心跳,因 此調(diào)度延遲被降至最低?!?/p>

通過博客,我們還了解到Facebook如何引入這個新工具,以及一些見解,關(guān)于Facebook基礎(chǔ)設(shè)施從500個節(jié)點的集群開始獲取“來自早期采用者的反饋”。

在該工具引入到Facebook所有服務(wù)器中之前,一個1000節(jié)點的試驗就遇到了第一個擴展問題。

Facebook現(xiàn)在已經(jīng)啟用Corona,采用合適的開源規(guī)則,并且相信Corona將是“未來幾年內(nèi)”一個非常重要的工具。

考慮到Facebook的數(shù)據(jù)倉庫“在過去4年中增長了2500倍”,Corona將擔(dān)負(fù)著沉重的數(shù)據(jù)處理任務(wù)。但這僅僅是數(shù)據(jù)倉庫:究竟Facebook有多少數(shù)據(jù),并未披露,關(guān)于Corona將交付怎樣的產(chǎn)品和數(shù)據(jù)分析,我們也不得而知。

分享到

cuihao

相關(guān)推薦