最近我們看到了首字母為M,A和Q的技術涌現(xiàn)出來。對于開源愛好者而言,最令他們激動的事情就是關注Hadoop生態(tài)系統(tǒng)。

如我們常??吹降模鎯π枰ヅ涫S嗟腎T堆棧。數據集本身需要高度分布。數據和大數據的運算出現(xiàn)在種類繁多的分布式設備上。

而且,由于將運算導入數據比將數據導入運算要容易,所以SMAQ堆棧的存儲部分需要確保所有未結構化數據和半結構化數據的安全而有效地分布到所有運算節(jié)點,且既可以被擴展也可以滿足高性能的要求。這意味著大數據必須:

a) 在廣布于互聯(lián)網的各種商業(yè)設備上運行

b) 為與分析相關的密集式數據處理提供性能幫助

c) 避免設計失誤,如集中式元數據存儲以及大量遺留系統(tǒng)將存儲大小限制在16TB

d) 允許在相同硬件上出現(xiàn)運算和存儲功能。綜上所述,將運算遷移到存儲的成本更低。不過如果存儲被鎖定那就會有些麻煩。

e) 擴展至PB級別甚至是EB級別。

結論:專屬與整體的存儲方法不適合大數據。不過,隨著大數據SMAQ技術的不斷發(fā)展,相信大數據存儲和存儲效益方面的價值會被充分地釋放出來。

分享到

fanz

相關推薦