華為BH622 V2測(cè)試平臺(tái)信息

需要說(shuō)明的是在SPEC CPU測(cè)試中，主頻會(huì)起到很大的作用。相比起上一代5600系列，E5在整數(shù)與浮點(diǎn)測(cè)試運(yùn)算中全面占優(yōu)，毫無(wú)疑問(wèn)E5的先進(jìn)架構(gòu)決定了性能。也可訪問(wèn)Spec官方頁(yè)面獲取更多處理器性能信息對(duì)比。

Linpack測(cè)試

之后我們進(jìn)行了Linpack測(cè)試用來(lái)體現(xiàn)E5的AVX指令集對(duì)于浮點(diǎn)性能的巨大提升。測(cè)試環(huán)境為紅帽的RHEL6.1，2.6.32內(nèi)核，支持AVX指令集。處理器則是雙路8核16線程主頻為2.0GHz可Turbo到2.4GHz具有20MB三級(jí)緩存的E5-2650工程樣片。測(cè)試中關(guān)閉超線程，根據(jù)系統(tǒng)內(nèi)存容量我們選擇了N=89000的運(yùn)算階數(shù)(測(cè)試過(guò)程中運(yùn)算沒(méi)有用到虛擬內(nèi)存)。在計(jì)算點(diǎn)數(shù)以及計(jì)算次數(shù)方面，我們指定為1，沒(méi)有進(jìn)行調(diào)優(yōu)。

Linpack在國(guó)際上已經(jīng)成為最流行的用于測(cè)試高性能計(jì)算機(jī)系統(tǒng)浮點(diǎn)性能的benchmark。通過(guò)利用高性能計(jì)算機(jī)，用高斯消元法求解一元N次稠密線性代數(shù)方程組的測(cè)試，評(píng)價(jià)高性能計(jì)算機(jī)的浮點(diǎn)性能。

HPL是針對(duì)現(xiàn)代并行計(jì)算機(jī)提出的測(cè)試方式。用戶在不修改任意測(cè)試程序的基礎(chǔ)上，可以調(diào)節(jié)問(wèn)題規(guī)模大小N(矩陣大小)、使用到的CPU數(shù)目、使用各種優(yōu)化方法等來(lái)執(zhí)行該測(cè)試程序，以獲取最佳的性能。HPL采用高斯消元法求解線性方程組。當(dāng)求解問(wèn)題規(guī)模為N時(shí)，浮點(diǎn)運(yùn)算次數(shù)為(2/3 * N^3-2*N^2)。因此，只要給出問(wèn)題規(guī)模N，測(cè)得系統(tǒng)計(jì)算時(shí)間T，峰值=計(jì)算量(2/3 * N^3-2*N^2)/計(jì)算時(shí)間T，測(cè)試結(jié)果以浮點(diǎn)運(yùn)算每秒(Flops)給出。

由于在計(jì)算的過(guò)程中，會(huì)分配、占有一定的內(nèi)存空間，因此依據(jù)內(nèi)存容量合適的設(shè)置N的數(shù)值，會(huì)得到較為準(zhǔn)確的計(jì)算性能數(shù)據(jù)。如果N設(shè)置較小，內(nèi)存不能充分利用，則處理能力不能發(fā)揮;如果N設(shè)置較大，內(nèi)存空間不能滿足需求，則需要經(jīng)常的執(zhí)行硬盤讀寫，從而會(huì)有處理器的等待時(shí)間，計(jì)算時(shí)間會(huì)延長(zhǎng)，測(cè)試得到計(jì)算性能結(jié)果也會(huì)受到影響。

CPU相關(guān)信息 支持AVX指令集

我們也在現(xiàn)場(chǎng)測(cè)試了華為上一代基于英特爾5600系列的產(chǎn)品，對(duì)比發(fā)現(xiàn)新一代的華為Tecal V2服務(wù)器的浮點(diǎn)計(jì)算性能得到了大幅度提升，接近兩倍。

理論浮點(diǎn)峰值是該計(jì)算機(jī)理論上能達(dá)到的每秒鐘能完成浮點(diǎn)計(jì)算最大次數(shù)，它主要是由CPU的主頻決定的，理論浮點(diǎn)峰值=CPU主頻×CPU每個(gè)時(shí)鐘周期執(zhí)行浮點(diǎn)運(yùn)算的次數(shù)×系統(tǒng)中CPU核心數(shù)目。

在本次測(cè)試中的理論浮點(diǎn)峰值=2.4GHz*8*16=307.2GFLOPS

而實(shí)際測(cè)試數(shù)據(jù)為279.6097GFLOPS。約為理論峰值的91%。

實(shí)測(cè)浮點(diǎn)峰值是指Linpack測(cè)試值，也就是說(shuō)在這臺(tái)機(jī)器上運(yùn)行Linpack測(cè)試程序，通過(guò)各種調(diào)優(yōu)方法得到的最優(yōu)的測(cè)試結(jié)果。實(shí)際上在實(shí)際程序運(yùn)行過(guò)程中，幾乎不可能達(dá)到實(shí)測(cè)浮點(diǎn)峰值，更不用說(shuō)達(dá)到理論浮點(diǎn)峰值了。這兩個(gè)值只是作為衡量機(jī)器性能的一個(gè)指標(biāo)，用來(lái)表明機(jī)器處理能力的一個(gè)標(biāo)尺和潛能的度量。

Specjvm測(cè)試

用來(lái)測(cè)試的環(huán)境為Novell的SUSE Linux 11。處理器則是雙路8核16線程主頻為2.0GHz可Turbo到2.4GHz具有20MB三級(jí)緩存的E5-2650工程樣片。SPECjvm2008是一個(gè)觀測(cè) JRE運(yùn)行性能的基準(zhǔn)測(cè)試套件。它的測(cè)試用例涵蓋了大部分java基礎(chǔ)應(yīng)用場(chǎng)景，是架構(gòu)選型和JVM性能評(píng)測(cè)的工具。SPECjvm2008測(cè)試用例列表單位為ops/m 每分鐘操作數(shù)。

上一代RH2285的配置為雙路E5645處理器，6核12線程2.4GHz主頻可Turbo到2.67GHz。具有12MB三級(jí)緩存。在JAVA綜合性能測(cè)試中新一代E5-2650工程樣片的性能約是E5645處理器性能的125%。

服務(wù)器能耗測(cè)試

在能耗方面，我們對(duì)華為RH 2288 V2服務(wù)器進(jìn)行了Specpower測(cè)試。另外，我們也對(duì)華為的基于英特爾Node Manager功耗封頂技術(shù)有了了解。據(jù)華為相關(guān)工程師介紹，在今年晚些時(shí)候會(huì)推出完整的整機(jī)柜功耗控制產(chǎn)品。

極其簡(jiǎn)單就可以控制單一服務(wù)器乃至整個(gè)機(jī)柜、數(shù)據(jù)中心的功耗(注：截圖為測(cè)試版本管理界面)

有關(guān)SPECpower ssj2008測(cè)試說(shuō)明：

以前的SPEC基準(zhǔn)測(cè)試大都傾向于測(cè)試某一種性能，而使用SPECpower_ssj2008，不僅會(huì)測(cè)試性能，也將獲得直觀的能效表現(xiàn)。簡(jiǎn)單介紹其原理就是，在給定時(shí)間內(nèi)，它可以報(bào)告服務(wù)器在不同性能表現(xiàn)時(shí)共11個(gè)點(diǎn)上的功耗情況。從100%滿負(fù)載開始，以10%為一級(jí)，呈梯度逐級(jí)遞減到10%負(fù)載，再減到閑置負(fù)載模式，需要注意的是，這些數(shù)值并不是CPU占用率。

顯然，只考量空閑和峰值的情況對(duì)用戶不同應(yīng)用的代表性是不夠的。新工具的測(cè)試?yán)砟钍欠值燃?jí)測(cè)量工作負(fù)載，就是說(shuō)測(cè)試不但要看峰值時(shí)的情況如何，還要看隨著性能變化的各個(gè)點(diǎn)上的情況如何，按工作負(fù)載的考量方式在衡量能耗表現(xiàn)時(shí)更為科學(xué)。在實(shí)際測(cè)試中可以看到，如幾天甚至數(shù)周，按等級(jí)劃分的工作負(fù)載反映出服務(wù)器上的處理負(fù)載和能耗會(huì)隨著評(píng)測(cè)時(shí)間的不同而發(fā)生顯著變化。因此，要計(jì)算所有級(jí)別的能耗-性能標(biāo)準(zhǔn)，需要將每個(gè)階段測(cè)量到的交易吞吐量相加，然后除以每個(gè)階段的平均功耗之和。最后得到的數(shù)據(jù)結(jié)果才是被稱作overall ssj_ops/watt的指標(biāo)成績(jī)。

測(cè)試使用的基準(zhǔn)工作負(fù)載是典型的服務(wù)器端Java商業(yè)應(yīng)用。這類工作負(fù)載在各種操作環(huán)境下都具備良好的可擴(kuò)展性和多線程性，同時(shí)運(yùn)行的經(jīng)濟(jì)性表現(xiàn)也很好。它可運(yùn)用CPU、緩存、內(nèi)存結(jié)構(gòu)和共享內(nèi)存處理器(SMP)的可擴(kuò)充性，并可執(zhí)行Java虛擬機(jī)(JVM)、JIT(即時(shí))編譯器、回收站、線程及操作系統(tǒng)的某些特定項(xiàng)目。

用來(lái)進(jìn)行SPECpower ssj2008測(cè)試的華為RH 2288 V2平臺(tái)配置為雙路E5 2660 8*4G 2.5寸SAS硬盤。

SPECpower ssj2008測(cè)試成績(jī)?yōu)?607 overall ops/watt。大家同樣可以在Spec.org上查閱到更多相關(guān)產(chǎn)品的資料。

華為功耗封頂技術(shù)

目的在于降低成本、提高機(jī)架密度和管理水平

該技術(shù)基于英特爾智能節(jié)點(diǎn)管理技術(shù)(Node Manager)，是一個(gè)內(nèi)嵌于英特爾服務(wù)器芯片組的功率管理技術(shù)。通過(guò)數(shù)據(jù)中心管理軟件配合，能夠?qū)崟r(shí)監(jiān)控服務(wù)器功耗，并在數(shù)據(jù)中心層面進(jìn)行動(dòng)態(tài)調(diào)整，從而實(shí)現(xiàn)提高數(shù)據(jù)中心機(jī)架密度，降低運(yùn)維成本。

該技術(shù)通過(guò)動(dòng)態(tài)功耗監(jiān)控，測(cè)量服務(wù)器平臺(tái)的實(shí)際功耗。從PMBus電源處收集信息，從而提供實(shí)時(shí)的功耗數(shù)據(jù)并通過(guò)IPMI接口進(jìn)行報(bào)告?？蓪?duì)平臺(tái)的功耗設(shè)限，同時(shí)保持在該功耗限額下的最佳性能。通過(guò)IPMI接口從一個(gè)外部管理控制臺(tái)接收功耗管理策略，并通過(guò)動(dòng)態(tài)調(diào)整CPU的運(yùn)行頻率來(lái)提高整體能耗比。

X8000作為華為的拳頭產(chǎn)品已經(jīng)成功的在大型互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)中心中效力多時(shí)了。X8000機(jī)柜分為三層管理模塊，整機(jī)柜的RMC(Racks Management Controller)柜管理控制器，以及4U大節(jié)點(diǎn)(最高支持安裝8個(gè)XH服務(wù)器節(jié)點(diǎn))的MMC(Module Management Controller)模塊管理控制器，到單服務(wù)器的BMC(Baseboard Management Controller)控制器。這種通訊層級(jí)的設(shè)計(jì)也保證了管理方面的高可用性。打個(gè)比方，就算位于“中間層”某一MMC出現(xiàn)故障，也不會(huì)影響其他MMC與RMC的通訊，而MMC是與單節(jié)點(diǎn)既服務(wù)器BMC連接的橋梁。從這點(diǎn)上看，X8000的設(shè)計(jì)在保證了系統(tǒng)管理的高可用性又減少了用于連接服務(wù)器管理口的交換機(jī)數(shù)量——可以節(jié)約出很多端口。從整體來(lái)看，又是增加了有限空間內(nèi)的計(jì)算密度。(同時(shí)服務(wù)器本身的管理口也可以接到交換機(jī)，因?yàn)橛行┯脩粲凶约旱囊惶坠芾硐到y(tǒng)，需要用到節(jié)點(diǎn)的BMC，所以跟以前的管理方式不沖突)

在這里簡(jiǎn)單說(shuō)一下X8000的結(jié)構(gòu)，標(biāo)準(zhǔn)42U機(jī)柜內(nèi)含散熱風(fēng)扇、PDU供電，以及上面提到的管理控制器。機(jī)柜里面可以安裝的計(jì)算節(jié)點(diǎn)是華為XH系列服務(wù)器。不單是實(shí)現(xiàn)了前所未有的計(jì)算密度，還因提供了統(tǒng)一的供電和散熱，所以在整體功耗上大約可以有10%的能耗節(jié)省。這對(duì)于規(guī)?；瘮?shù)據(jù)中心的節(jié)省能源開支的誘惑不言而喻。X8000滿足了客戶對(duì)于產(chǎn)品交付時(shí)間上的需求，極大方便了客戶的快速部署安裝。另可根據(jù)需求，訂制不同數(shù)量、規(guī)格的服務(wù)器和網(wǎng)絡(luò)設(shè)備，模塊化的設(shè)計(jì)也方便了用戶“即插即用”靈活快速的替換部署。同時(shí)支持上一代產(chǎn)品也保護(hù)了用戶的投資。

我們也在現(xiàn)場(chǎng)初窺了功耗封頂技術(shù)的冰上一角，華為工程師在單節(jié)點(diǎn)設(shè)備上進(jìn)行了演示。

功率計(jì)顯示實(shí)時(shí)功耗為169W

通過(guò)華為的管理程序制定功耗

在限定功率確認(rèn)后，實(shí)際功耗迅速下降到指定功率。

除此之外，華為IMana管理程序?qū)υS多IPMI的傳統(tǒng)功能支持更不在話下，如系統(tǒng)引導(dǎo)、控制臺(tái)重定向、虛擬介質(zhì)、傳感器監(jiān)控、電源控制、系統(tǒng)日志等等。

存儲(chǔ)性能測(cè)試

在存儲(chǔ)測(cè)試方面，我們對(duì)華為ES系列高性能SSD存儲(chǔ)進(jìn)行了Jetsress測(cè)試以及Sysbench性能測(cè)試。

關(guān)于SSD的種種過(guò)去說(shuō)的已經(jīng)足夠多了，比特網(wǎng)《閃存大戰(zhàn)一觸即發(fā)》一文中對(duì)SSD領(lǐng)域熱點(diǎn)話題有諸多評(píng)述。所以就讓我們直接進(jìn)入正題來(lái)通過(guò)測(cè)試來(lái)看看華為的ES2000系列SSD產(chǎn)品。

Jetstress是一種 Exchange 工具，通過(guò)此工具，管理員可以在將服務(wù)器引入生產(chǎn)環(huán)境之前，測(cè)試磁盤子系統(tǒng)的性能和穩(wěn)定性。

具體地說(shuō)，Jetstress 通過(guò)模擬 Exchange 磁盤 I/O 負(fù)載來(lái)測(cè)試磁盤性能。要驗(yàn)證磁盤子系統(tǒng)是否滿足或超過(guò)您的性能標(biāo)準(zhǔn)，可以結(jié)合 Jetstress 一起使用系統(tǒng)監(jiān)視器、事件查看器和 Eseutil.exe。

基于郵件活動(dòng)的每個(gè)郵箱的數(shù)據(jù)庫(kù)緩存和估計(jì) IOPS

利用 Jetstress，可以執(zhí)行兩種類型的測(cè)試：Jetstress 磁盤性能測(cè)試和 Jetstress 磁盤子系統(tǒng)壓力測(cè)試。Jetstress 磁盤性能測(cè)試運(yùn)行兩個(gè)小時(shí)，用于驗(yàn)證存儲(chǔ)解決方案的性能并確定其規(guī)模。Jetstress 磁盤子系統(tǒng)壓力測(cè)試運(yùn)行 24 個(gè)小時(shí)，用于測(cè)試系統(tǒng)在運(yùn)行很長(zhǎng)時(shí)間的情況下的存儲(chǔ)可靠性。運(yùn)行這兩個(gè)測(cè)試是驗(yàn)證磁盤子系統(tǒng)的完整性和性能的最佳方式。

郵箱數(shù)據(jù)庫(kù) I/O 讀取/寫入比率

在非生產(chǎn)環(huán)境中成功完成 Jetstress 磁盤性能測(cè)試和 Jetstress 磁盤子系統(tǒng)壓力測(cè)試后，就可以進(jìn)入 Exchange部署過(guò)程的下一個(gè)階段。通過(guò)運(yùn)行 Jetstress，已經(jīng)可以確保 Exchange 磁盤子系統(tǒng)已針對(duì)所計(jì)劃的用戶數(shù)和創(chuàng)建的用戶配置文件進(jìn)行了充分的評(píng)估。

在上述配置模式下，華為ES 2000 SSD卡通過(guò)微軟Exchange Jetstress 2010的壓力測(cè)試成績(jī)。

Sysbench MYSQL數(shù)據(jù)庫(kù)測(cè)試

sysbench是一款開源的多線程性能測(cè)試工具，可以執(zhí)行CPU/內(nèi)存/線程/IO/數(shù)據(jù)庫(kù)等方面的性能測(cè)試。數(shù)據(jù)庫(kù)目前支持MySQL/Oracle/PostgreSQL。主要用于評(píng)估測(cè)試各種不同系統(tǒng)參數(shù)下的數(shù)據(jù)庫(kù)負(fù)載情況。

本次測(cè)試系統(tǒng)環(huán)境為Redhat Linux Enterprise Server 6.1,內(nèi)核版本2.6.32。在Mysql服務(wù)運(yùn)行后，采用Sysbench對(duì)Mysql Innode DB加負(fù)載，生成數(shù)據(jù)庫(kù)記錄為8億條，然后進(jìn)行數(shù)據(jù)庫(kù)性能測(cè)試。性能測(cè)試中，讀比例占多數(shù)，數(shù)據(jù)塊大小范圍在1-16KB之間，與TPC-C數(shù)據(jù)庫(kù)模型不同。

用來(lái)測(cè)試的服務(wù)器華為RH2285 V2配置為雙路E5-2650(工程樣片，同上)，24G內(nèi)存。用來(lái)與華為ES2000 SSD卡做對(duì)比的存儲(chǔ)環(huán)境為L(zhǎng)SI 2208 RAID卡配備6塊300G SAS組成RAID10。

在本次Sysbench的MYSQL測(cè)試項(xiàng)目中，華為ES2000系列綜合性能約是SAS陣列性能的16倍。據(jù)了解“SSD閃存產(chǎn)品將提供華為產(chǎn)品一貫的高性價(jià)比”。

后記

本次華為服務(wù)器評(píng)測(cè)的最大感受可以總結(jié)為三點(diǎn)：自主研發(fā)，運(yùn)營(yíng)商標(biāo)準(zhǔn)的苛刻要求;定制化產(chǎn)品的迅速響應(yīng);國(guó)際一流廠商的配置標(biāo)準(zhǔn)。一向以寡言沉默示人的華為，這一次再度驚艷。當(dāng)你看到一款A(yù)ll in China而不僅僅是Made in China的產(chǎn)品 ，不去考慮國(guó)人的感情因素，尚能豎起大拇指的時(shí)候，筆者實(shí)在不知道再去如何點(diǎn)評(píng)該產(chǎn)品了……有關(guān)產(chǎn)品本身的更多內(nèi)容，詳見專題。

zhouxiaoli