計(jì)算過(guò)程的中間數(shù)據(jù)，這些數(shù)據(jù)在計(jì)算結(jié)束之后就會(huì)被丟棄，但是在計(jì)算過(guò)程中，訪問(wèn)速度會(huì)影響到應(yīng)用程序的運(yùn)行性能，設(shè)計(jì)不合理的中間數(shù)據(jù)存儲(chǔ)方案會(huì)導(dǎo)致CPU處于等待狀態(tài)，無(wú)法充分利用。

針對(duì)以上兩種類(lèi)型的存取模式，反應(yīng)在共享內(nèi)存體系構(gòu)架和分布式內(nèi)存體系構(gòu)架兩種構(gòu)架上，又有不同的實(shí)現(xiàn)方式：

對(duì)于共享內(nèi)存體系構(gòu)架，可以通過(guò)直接連接高速的硬盤(pán)來(lái)解決中間數(shù)據(jù)的存取，通過(guò)連接SAN或IP SAN共享的、性?xún)r(jià)比較好的FC 磁盤(pán)柜，提供最終數(shù)據(jù)檔案的存放。

對(duì)于分布式體系構(gòu)架的集群系統(tǒng)，可以通過(guò)在每個(gè)節(jié)點(diǎn)上配置SAS硬盤(pán)來(lái)解決中間數(shù)據(jù)的存取，通過(guò)NFS網(wǎng)絡(luò)共享文件系統(tǒng)來(lái)為集群系統(tǒng)所有節(jié)點(diǎn)提供原始數(shù)據(jù)與最終數(shù)據(jù)的讀取與存放。

    曙光高性能計(jì)算存儲(chǔ)解決方案及優(yōu)勢(shì)

ParaStor200并行存儲(chǔ)系統(tǒng)采用了代表存儲(chǔ)技術(shù)、網(wǎng)絡(luò)通信技術(shù)以及數(shù)據(jù)管理技術(shù)發(fā)展方向的并行體系架構(gòu)，是一款面向海量非結(jié)構(gòu)化數(shù)據(jù)處理、擁有自主知識(shí)產(chǎn)權(quán)的高端存儲(chǔ)系統(tǒng)。

ParaStor200并行存儲(chǔ)系統(tǒng)匯集了曙光公司多年以來(lái)在并行計(jì)算和海量數(shù)據(jù)處理方面的豐富經(jīng)驗(yàn)，從架構(gòu)上徹底消除了傳統(tǒng)存儲(chǔ)系統(tǒng)的瓶頸，能夠滿足高帶寬和高并發(fā)的海量文件存取的需求，為用戶(hù)帶來(lái)前所未有的存儲(chǔ)性能體驗(yàn)。

Parastor系統(tǒng)主要由索引服務(wù)器集群和存儲(chǔ)服務(wù)器集群組成。不同的文件均勻地分散在不同的存儲(chǔ)服務(wù)器上，用戶(hù)訪問(wèn)索引服務(wù)器得到文件位置信息后，直接訪問(wèn)存儲(chǔ)服務(wù)器集群讀寫(xiě)數(shù)據(jù)。這種控制路徑和數(shù)據(jù)路徑分離的方式，分散了索引服務(wù)器的負(fù)載，可獲得極高的聚合帶寬，也大大提高了系統(tǒng)的擴(kuò)展性。

在索引數(shù)據(jù)讀操作比例很高的環(huán)境中，配置加速集群用作分擔(dān)讀負(fù)載。

可擴(kuò)展性

索引數(shù)據(jù)服務(wù)器的擴(kuò)展

當(dāng)服務(wù)能力不足時(shí)，可成對(duì)的加入新的索引服務(wù)器，系統(tǒng)將優(yōu)先使用新增加的服務(wù)器。

用戶(hù)對(duì)文件信息的訪問(wèn)可直接定位到某一臺(tái)索引服務(wù)器，因此增加索引服務(wù)器的同時(shí)也提高了系統(tǒng)索引數(shù)據(jù)的訪問(wèn)性能。

數(shù)據(jù)服務(wù)器擴(kuò)展

Parastor中的文件均勻地分散到各數(shù)據(jù)服務(wù)器上存儲(chǔ)。當(dāng)空間不足時(shí)，增加新的數(shù)據(jù)服務(wù)器，即可將新創(chuàng)建的文件或文件的部分存儲(chǔ)到新存儲(chǔ)服務(wù)器上。系統(tǒng)自動(dòng)平衡已存儲(chǔ)數(shù)據(jù)到新節(jié)點(diǎn)中，防止產(chǎn)生熱點(diǎn)。

Parastor的聚合帶寬取決于可用的數(shù)據(jù)通道。增加了數(shù)據(jù)服務(wù)器后，即增加了客戶(hù)端和Parastor系統(tǒng)的通道數(shù)，因此聚合帶寬也能相應(yīng)地提高。

高可用性

Parastor采用復(fù)制技術(shù)來(lái)提高數(shù)據(jù)的可用性。索引數(shù)據(jù)和文件數(shù)據(jù)均可配置成多個(gè)副本，其中文件數(shù)據(jù)可以針對(duì)具體文件設(shè)置副本數(shù)目。即使出現(xiàn)當(dāng)一個(gè)副本損壞時(shí)，其它副本仍可訪問(wèn)，因此不影響系統(tǒng)的可用性。

系統(tǒng)恢復(fù)

應(yīng)用數(shù)據(jù)恢復(fù)

Parastor系統(tǒng)具有根據(jù)系統(tǒng)信息和操作結(jié)果自動(dòng)發(fā)現(xiàn)部件失效的功能。出現(xiàn)介質(zhì)損壞后，受損數(shù)據(jù)的副本數(shù)減少。系統(tǒng)自動(dòng)利用現(xiàn)有副本生成新的副本數(shù)據(jù)，從而使系統(tǒng)恢復(fù)至正常狀態(tài)?；謴?fù)過(guò)程中，對(duì)受損數(shù)據(jù)的讀寫(xiě)仍可進(jìn)行。整臺(tái)存儲(chǔ)服務(wù)器損壞，受損數(shù)據(jù)也按上述方式自動(dòng)恢復(fù)。

如果某個(gè)節(jié)點(diǎn)暫時(shí)失效，其它副本的操作仍正常進(jìn)行，當(dāng)該節(jié)點(diǎn)恢復(fù)后，增量更新受影響的數(shù)據(jù)，從而恢復(fù)到正常狀態(tài)。

本系統(tǒng)采用并行恢復(fù)策略，以縮短恢復(fù)時(shí)間，如圖所示：

失效模式：在oStor0中，由于磁盤(pán)失效或系統(tǒng)失效，導(dǎo)致對(duì)象obj1和obj2同時(shí)失效。

恢復(fù)方式：在2副本系統(tǒng)中，若obj1和obj2的另外一個(gè)副本存儲(chǔ)于不同的oStor中，則obj1和obj2可并行恢復(fù)，并發(fā)進(jìn)行數(shù)據(jù)復(fù)制，在圖7中，分別復(fù)制到到oStor3和oStor4。

索引數(shù)據(jù)恢復(fù)

索引數(shù)據(jù)日志。Parastor利用日志和副本技術(shù)提高索引數(shù)據(jù)的可用性，并保證索引數(shù)據(jù)之間的一致性。日志記錄了當(dāng)索引服務(wù)器出現(xiàn)介質(zhì)損壞時(shí)，可以利用其它節(jié)點(diǎn)的副本數(shù)據(jù)進(jìn)行恢復(fù)。如果索引服務(wù)器死機(jī)，重起后，使用本地日志可以恢復(fù)數(shù)據(jù)的一致性。同時(shí)利用其它節(jié)點(diǎn)生成的日志，保證副本之間的一致性。

可管理性

Parastor具有良好的可管理性。內(nèi)置的自動(dòng)管理機(jī)制盡量的簡(jiǎn)化了管理員的操作；多樣的報(bào)警機(jī)制可以及時(shí)可靠的將故障通知管理員。

與曙光集群管理軟件Gridview集成后，管理員可以通過(guò)簡(jiǎn)單的瀏覽WEB形式的網(wǎng)頁(yè)，輕松地完成系統(tǒng)的監(jiān)控與管理工作。Parastor管理界面同樣具有良好的擴(kuò)展性，這使得管理員的工作量并不會(huì)隨著數(shù)據(jù)容量的成倍增加而增加很多。

renxinbo

<nobr id="ts0og"></nobr>