曙光大數據處理系統(tǒng) XData大數據一體機
任新勃 發(fā)表于:13年05月27日 11:30 [來稿] DOIT.com.cn
信息技術的不斷發(fā)展,數據的產生和獲取手段變得越來越先進,對數據的處理要求也越來越高,大規(guī)模數據密集型應用系統(tǒng)數據量呈現(xiàn)指數級上升的趨勢,迎來了數據爆炸式的增長,業(yè)界稱之為“大數據時代”的到來。大數據時代,信息越來越成為國家和企業(yè)發(fā)展的戰(zhàn)略資產,大數據分析和挖掘也為長遠發(fā)展提供了決策支持的基礎。
XData大數據處理機是曙光公司立足于當前大數據處理的時代背景下,自主研發(fā)的通用海量數據處理平臺,可廣泛的應用在通信數據統(tǒng)計,互聯(lián)網/移動互聯(lián)網的日志和用戶行為分析,物聯(lián)網/傳感器網絡的數據監(jiān)控和追蹤分析,以及金融交易數據的離線統(tǒng)計和挖掘等眾多領域。
產品概述
XData大數據處理機將數據存儲單元和處理單元分離,通過構架高效的服務中間件,將底層采用無共享(shared-nothing)結構的數據存儲節(jié)點,聚合成一個單一的數據處理系統(tǒng)映像,達到較高的數據讀寫并發(fā)度,計算并發(fā)度,以及良好的系統(tǒng)擴展性,可靠性和可維護性。 XData可廣泛的應用在通信數據統(tǒng)計,互聯(lián)網/移動互聯(lián)網的日志和用戶行為分析,物聯(lián)網/傳感器網絡的數據監(jiān)控和追蹤分析,以及金融交易數據的離線統(tǒng)計和挖掘等眾多領域。
XData向用戶提供統(tǒng)一的類JDBC的客戶端編程接口,向下管理分布在不同存儲模塊上的不同類型的數據,并提供簡易的用戶管理界面。XData系統(tǒng)的核心技術包括自動的服務注冊和負載均衡,可擴展的數據劃分和分布策略,高效的批量數據加載,通用的并行查詢分析和處理引擎,結構化和非結構化數據的統(tǒng)一訪問接口,不同類型數據之間的聯(lián)合查詢和檢索,以及全方位的系統(tǒng)故障和恢復處理等多項技術。
產品特性
分級存儲
XData支持分級存儲,以降低系統(tǒng)的總體持有成本。即按照數據量和數據的訪問頻率,分為在線,離線和備份三個存儲級別,并支持數據在各級之間根據策略進行遷移。
并行處理架構
XData采用無共享的結構,提供高速的數據寫入能力。寫入過程中,采用并行寫入的方式,按照一定數據劃分策略,將數據寫入到后端數據節(jié)點。
XData將查詢語句分解成為在多個數據模塊并行執(zhí)行的查詢任務流,所有的查詢處理都在數據節(jié)點上并行的執(zhí)行,充分利用無共享結構的計算并行度。
XData提供任務斷點執(zhí)行功能,發(fā)生意外情況時,系統(tǒng)啟動后繼續(xù)執(zhí)行未完成的任務。
一體化執(zhí)行框架
XData提供類JDBC訪問接口:XJDBC,有JDBC 使用經驗的用戶無需額外學習即可很方便的使用XJBDC訪問接口;XData提供XJDBC/MapReduce混合執(zhí)行框架,提供跨平臺的兼容性。
XData還提供較XJDBC訪問接口更高的性能的專用編程接口。
復雜數據類型關聯(lián)分析
XData支持大表關聯(lián)和大表嵌套類等復雜的查詢語句的處理。XData系統(tǒng)通過將復雜查詢解析成在多個數據節(jié)點上的并行任務流,提高復雜查詢的處理性能。
XData支持用戶自定義的并行查詢任務流,可以支持任意復雜的結構化/非結構化數據處理語義,滿足更廣泛的應用需求。
高可擴展性
XData對數據進行細粒度劃分,無需進行復雜規(guī)劃,任意規(guī)模的擴展都能夠達到數據分布均衡。
XData提供細粒度數據鎖,提高數據訪問并發(fā)度,減小單個查詢操作的無效IO,提高整體處理效率。
圖形化監(jiān)控管理
XData提供基于Web的圖形化的管理工具,簡化了系統(tǒng)管理員對于大數據系統(tǒng)的管理和維護工作,使得管理一套含有幾百個節(jié)點的XData和管理一套10個節(jié)點的XData的工作量接近。
XData大數據一體機包含兩類組件:計算模塊、數據模塊和客戶端。
計算模塊:用于數據的并行加載和查詢處理,對客戶端提供統(tǒng)一的數據處理接口。
數據模塊:用于提供結構化/非結構化數據一體化存儲空間,內嵌高性能數據存取引擎,并行處理所有計算模塊的數據訪問
請求。
客戶端:用于和用戶應用對接,提供XJDBC/MapReduce統(tǒng)一訪問接口和各服務專用訪問接口。
規(guī)格列表
型號 | XData 大數據一體機 | |
系統(tǒng)規(guī)格 | 系統(tǒng)容量 | 16PB |
計算模塊 | 1024 | |
數據模塊 | 1024 | |
客戶端OS | CentOS5 X86/X86_64 CentOS6 X86/X86_64 RedHat5 X86/X86_64 RedHat6 X86/X86_64 SLES11 SP1 X86/X86_64 SLES11 SP2 X86/X86_64 | |
系統(tǒng)功能 | 系統(tǒng)架構 | 非對稱雙集群架構,系統(tǒng)由計算集群和數據集群組成 |
訪問接口 | 支持類JDBC統(tǒng)一編程接口和各服務專用編程接口,兼容MapReduce執(zhí)行框架 | |
負載均衡 | 支持基于連接數、容量和性能的負載均衡 | |
數據遷移 | 支持數據控制器之間的數據遷移 | |
分級存儲 | 支持同一系統(tǒng)內的數據分級 | |
可擴展性 | 加載模塊 | 支持計算模塊在線動態(tài)添加和安全移除,擴展后系統(tǒng)數據加載能力呈線性增長 |
數據模塊 | 支持數據模塊在線動態(tài)添加,擴展后系統(tǒng)數據查詢處理能力呈線性增長 | |
硬盤 | Raid0/1/5/6 | |
可靠性 | 計算模塊 | 多個計算模塊以負載均衡方式運行,單個或多個計算模塊故障不影響系統(tǒng)整體的數據加載和查詢處理,客戶端會自動重連切換到可用的計算模塊 |
數據模塊 | 數據模塊以集群方式運行,支持數據的雙副本和分級存儲策略對數據可靠性進行保護 | |
管理 | 部署 | 支持集中式部署和配置 |
升級 | 支持在用戶業(yè)務不停止的情況下在線升級,升級過程對原有數據和配置無影響 | |
狀態(tài)監(jiān)控 | 支持對系統(tǒng)總體狀態(tài)進行監(jiān)控,支持對各節(jié)點和服務狀態(tài)進行監(jiān)控 | |
性能監(jiān)控 | 支持對系統(tǒng)總體性能、資源進行監(jiān)控,以及各節(jié)點的性能、資源進行監(jiān)控 | |
告警 | 支持對系統(tǒng)軟硬件故障和系統(tǒng)狀體閥值信息進行告警,告警方式支持以界面告警、郵件告警和短信告警等方式 |