曙光公司依據(jù)在分布式計算領域多年的積累和研究提出了基于IB網(wǎng)的Hadoop分布式計算平臺的方案。

本項目采用150臺A620r-G雙路服務器構建Hadoop平臺，100臺A840r-G四路服務器構建數(shù)據(jù)庫處理平臺，全系統(tǒng)以Infiniband網(wǎng)絡互聯(lián)，系統(tǒng)平臺的IB網(wǎng)絡設計中，所有的網(wǎng)絡設備的連接均采用冗余設計。首先，每臺服務器配置兩個IB端口，IB端口通過冗余綁定方式分別與兩臺不同的匯聚交換機相連；此外通過高度冗余的三臺二層交換機將所有匯聚交換機連接為統(tǒng)一的子網(wǎng)，最大限度的提高系統(tǒng)的冗余度和節(jié)點間通信帶寬限制；兩個IB網(wǎng)關設備底層各自與兩臺二層交換機相連，上層分別與一臺路由器連接，上層的兩臺路由器通過VRRP技術實現(xiàn)IB網(wǎng)關的冗余連接，保證當任意一臺網(wǎng)關或路由設備出現(xiàn)故障時，底層服務器均有鏈路連接到上層網(wǎng)絡。

方案價值

采用上述方案，該系統(tǒng)實現(xiàn)了Ethernet、Fibre channel、Infiniband三網(wǎng)融合，最大可能的滿足Hadoop集群和數(shù)據(jù)庫處理平臺的高速通訊的需要。

renxinbo