點(diǎn)擊進(jìn)入DOIT直播專(zhuān)題

6月7日上午，阿里云飛天開(kāi)放平臺(tái)總監(jiān)孫冰在大會(huì)分會(huì)場(chǎng)進(jìn)行了主題為“海量流數(shù)據(jù)處理的服務(wù)化”的演講。他分享了飛天開(kāi)放平臺(tái)在海量流數(shù)據(jù)處理的服務(wù)化取得的經(jīng)驗(yàn)。

阿里云飛天開(kāi)放平臺(tái)總監(jiān)孫冰

大會(huì)上孫冰首先說(shuō)明了一下關(guān)于流數(shù)據(jù)處理不斷生長(zhǎng)的需求。

流數(shù)據(jù)處理

孫冰認(rèn)為，流數(shù)據(jù)處理服務(wù)設(shè)計(jì)的關(guān)鍵要素有三個(gè)：各向擴(kuò)展，超強(qiáng)容錯(cuò)和確保實(shí)時(shí)。所以他從這些方面對(duì)比了離線和流兩大規(guī)模數(shù)據(jù)處理。如圖：

大規(guī)模數(shù)據(jù)處理：離線VS 流

接下來(lái)，孫冰從擴(kuò)展、容錯(cuò)、實(shí)時(shí)等多個(gè)方面對(duì)垂直系統(tǒng)和平臺(tái)服務(wù)也進(jìn)行了對(duì)比。如圖： 垂直系統(tǒng)VS平臺(tái)服務(wù)

垂直系統(tǒng)VS平臺(tái)服務(wù)

孫冰表示，對(duì)于OSPS這樣一個(gè)系統(tǒng)來(lái)說(shuō)，它是基于飛天平臺(tái)的，這樣做的好處在于，容錯(cuò)是用了非常直接的方法，如果沒(méi)有飛天平臺(tái)，沒(méi)有一個(gè)非常好的既可以記普通文件，又可以記log文件，又高效又分布在每臺(tái)機(jī)器上都能做的底層存儲(chǔ)系統(tǒng)，這件事情就變得很復(fù)雜。由于我們做OSPS的時(shí)候已經(jīng)有飛天平臺(tái)，省了非常多的力氣。接下來(lái)，我們?cè)贑++自主研發(fā)，寫(xiě)類(lèi)似于SQL的腳本，優(yōu)化在系統(tǒng)里做，保證數(shù)據(jù)不丟、不重，實(shí)現(xiàn)動(dòng)態(tài)負(fù)載均衡。

孫冰表示，飛天平臺(tái)設(shè)計(jì)目標(biāo)是五千臺(tái)物理機(jī)，每天處理PB級(jí)數(shù)據(jù)。

OSPS應(yīng)用架構(gòu)

wangxueyang