IT架構將會如何應對商業(yè)模式創(chuàng)新和成本控制的挑戰(zhàn)？商業(yè)模式的創(chuàng)新，需要滿足人們對更豐富多彩的媒體資源的渴求和交互體驗的欲望。僅有純文字的表現形式已經不能滿足需求，用戶需要更豐富的數字出版物、圖片、聲音以及視頻來表達和交流；僅有單向的傳播已經不能滿足需求，用戶需要更豐富的交流與互動體驗；IT架構必須能夠承載和傳播這些承爆發(fā)式增長的非結構化的數據。成本控制的壓力，需要我們采用可擴展的柔性結構，IT架構的整體擁有成本最好能隨著業(yè)務需求的增長而增長，而不是需要超前的投資。然而，用戶訪問量的增長卻從沒有停止過……相對于傳統應用，視頻應用有著非常大的用戶數量上漲空間，隨著網站的優(yōu)化整合，用戶將更加集中于優(yōu)秀的新媒體，IT設施將面臨更大挑戰(zhàn)……

      那么，新媒體需要什么樣的IT結構、什么樣的存儲系統能夠更好的來支撐商業(yè)模式的創(chuàng)新，并合理的控制成本呢？下面將以在新媒體中最具代表性的視頻分享網站為例，來分析新媒體對IT結構及其中的存儲系統的需求。

      首先，我們看視頻網站的IT結構：分別由流媒體服務器、Web服務器、在線錄制服務器、視頻轉換服務器、數據庫服務器、管理服務器、圖片服務器和其他服務器等一系列不同數量的服務器組成。

   
      由這幾個部分組合起來的IT結構，如何才能支撐視頻分享門戶的競爭優(yōu)勢呢？我們從以下兩方面來分析：

      1. 交互性體驗方面：

      首先，為滿足用戶對交互體驗的需要并保持自身的原創(chuàng)優(yōu)勢，需要為用戶提供視頻上傳和在線錄制視頻的功能；其次，需要把不同格式的視頻，轉換成該網站統一的格式；最后，需要在上傳后盡快發(fā)布以供播出。

      2. 服務壓力方面：

      首先，不但需要應對已有的大數量的用戶訪問，而且將迎接持續(xù)的訪問量增長；其次，當用戶訪問量增加時，需要保持良好的反映速度和響應時間；最后，必須面對清晰度日漸提高后，碼流增大所帶來的服務壓力。

      在各個技術層面上，我們如何更好的滿足上述諸多需要呢？

      1. 在編解碼技術層面：編解碼技術不斷推陳出新，我們可以看到解碼效果更好，編碼壓縮率更高的編解碼方式等諸多方面均有良好進展。尤其是由中科院計算所牽頭制定的AVS標準，是具有我國自主知識產權的新一代編解碼標準，將促進我國新媒體行業(yè)的健康發(fā)展。

      2. 在媒體的傳輸層面：CDN技術已經比較成熟，P2P技術的發(fā)展也非常的迅速，雖然存在缺乏統一標準等問題，但無法掩蓋P2P技術的鋒芒。目前，已有不少的視頻平臺運營商采用了P2P技術。此外，CDN＋P2P的復合技術也有了比較好的發(fā)展。

      3. 在媒體的服務提供層面：服務器集群技術已經相當成熟：雙機到多機的數據庫集群、由DNS輪詢或相關技術實現的Web服務器集群、由相關查詢指向技術實現的流媒體服務器集群等都可以比較方便的實現。成熟的服務器集群技術可以實現按需增加相應應用服務器來應對業(yè)務需求，足以為新媒體行業(yè)提供良好的支撐。

      4. 在媒體資源存儲方面：需要有大容量、高帶寬、可共享的存儲技術來支撐，而傳統的存儲結構和存儲技術，卻不能很好的滿足視頻網站的存儲需求。那么視頻網站在存儲方面都有什么具體的要求，怎么樣才能夠滿足這些要求呢？

      下面我們通過一個實例來詳細分析視頻網站的存儲需求：

      首先是選擇存儲系統的體系結構。傳統存儲的體系結構無非有兩種：集中式和分布式。新媒體存儲方案面臨著集中式存儲和分布式存儲兩種選擇，兩種結構各有優(yōu)缺點，選擇起來其實是比較困難的。本案中的視頻網站的存儲結構經歷了“集中–分布–分布式的集中存儲”的變遷：

      網站建立之初，采用了集中式的存儲結構。 

      集中式的存儲方案如下圖：

      很多新媒體的存儲采用的大多類似于上圖的、集中式的存儲結構來存放所有媒體數據，通常為NAS架構。簡單地說，就是一臺大容量的文件服務器，而高端的NAS結構是由一個NAS頭后面接SAS、SCSI或光纖盤陣。

      集中式存儲的優(yōu)點是比較明顯的：

      1. 集中存儲可實現服務的負載均衡，由于流媒體服務間的數據都是共享且統一的，當發(fā)生熱點繁忙時，所有流媒體服務器都可為其提供服務，分減壓力，而不像分布式的存儲會出現熱點繁忙，沒有熱點內容的存儲出現空閑這種不均勻情況。

      2. 集中存儲提高了存儲資源的利用率。

      3. 集中的高Raid 級別保護且成本較低，分布式存儲都實現Raid保護成本高昂。

      4. 集中的備份（快照）恢復，能方便的實現遠程容災。

      5. 集中存儲方案管理復雜度相對較低，以管理Mount點為例：需管理Mount點的數量為16（M+N+F+W）個，即上圖中的16根藍線。

      6. 集中存儲同時也是對流媒體服務器視頻內容的集中管理。

      基于以上優(yōu)點，在視頻網站發(fā)展和訪問量增長的同時，該網站最終還是放棄集中式的存儲結構轉而采用分布式的存儲結構，這是為什么呢？

      原因是：NAS頭成為存儲瓶頸……

   
      在這幅圖中，我們可以看到傳統的集中存儲方案中，存在如下問題：

      –I/O瓶頸

      –容量擴展性差

      –性能不可擴展

      –專業(yè)高端NAS成本高昂

      –單點故障

      隨著數據量的增加，存儲壓力也變得越來越集中，NAS已不足以支撐現有的應用，無法更好的應對未來的挑戰(zhàn)。既而，該網站從集中式的存儲方式轉向了采用分布式的存儲方式。

   
      圖中，每臺服務器上都提供文件共享服務，由應用層來實現媒體資源數據在各個服務器集群之間的遷移，從而比較好的解決了集中存儲的IO瓶頸問題，但是問題也隨之而來。

      –分布式的存儲沒有負載均衡，例如：發(fā)生熱點的時候、部分流媒體服務器忙或部分閑置

      –分布式存儲利用相對較低率，重復數據大量存在，且份數多

      –無法實現集中的高Raid 級別保護

      –快照、備份、恢復、遠程容災比集中存儲實現成本高

      –需要在應用層對存儲層過多關注。管理復雜度程幾何級增長，整體系統維護工作越來越復雜、繁重。以管理Mount點為例：同樣的服務器數，需管理Mount點的數量為48 [M*(N+F)+W*N]個，即上圖中的48根紅線，遠大于集中存儲結構。這僅僅是Mount點一項，還不包括各個點存儲數據的維護，在實際應用中相關的工作量是相當驚人，管理員疲于奔命。

      既然傳統的集中和分布都存在不同的問題，怎么樣去解決？在給出答案之前，我們重新歸納前面分析的視頻網站對存儲的需求：

      1. 各種服務器集群之間有視頻傳遞的需求，需要上傳服務器、流媒體服務器、在線錄制服務器和轉換服務器之間的視頻文件是互相可見的，翻譯成存儲的語言則需要文件級共享的存儲。

      2. 各種應用服務器可能使用著不同的操作系統平臺，都需要無差異的訪問到存儲空間，而翻譯成存儲的語言則需要跨平臺共享的存儲。

      3. 多臺流媒體服務器之間的存儲容量需要共享，從而提高存儲空間的利用率。如采用傳統SAN上面劃分獨立的存儲空間，給每臺服務器的類似做法顯然是不可接受的，并且需要視頻內容合理的分布在各個存儲設備上，翻譯成存儲的語言則需要存儲容量的負載均衡。

      4. 單臺存儲設備的存儲速度始終是有限的，需要多個存儲設備的聚合才能滿足視頻內容訪問量的爆炸式的增長，翻譯成存儲的語言則需要多臺存儲設備間的存儲速度的聚合，從而實現存儲速度的負載均衡。

      5. 新增視頻內容的不斷添加會導致存儲容量的不斷擴大，在添加設備擴展容量的時，能夠不影響原有系統，且平滑擴展，能夠實現在線的擴展業(yè)務系統不停機，翻譯成存儲的語言則需要容量線性可擴展，能夠實現在線擴容。

      6. 隨著用戶訪問量增長和視頻清晰度提高帶來的帶寬增長等諸多增長因素的影響，對存儲帶寬的增長需求，要求存儲系統實現帶寬隨容量呈線性增長。

      7. 合理的成本控制是一個恒久的話題，需要存儲系統的總體擁有成本隨容量的擴展而合理的擴展，不能出現突變式的增長。

      8. 穩(wěn)定性自然不用說，需要存儲系統采用冗余結構以提高系統的穩(wěn)定性。

      為了滿足上述需求，當我們面對“集中VS.分布”這個艱難抉擇的時候，技術的不斷進步，涌現出：分布式的集中存儲結構??集群存儲技術，其核心技術是集群文件系統。

      目前，廣為流行的集群文件系統的典型代表主要有：

      –Google 的GFS （Google File System）

      –中科儲天公司的BWFS（Blue Whale File System）

      –Panasas 的PanFS （PanFS File System）

      –IBM 的 GPFS （General Parallel File System)

      –CFS 的 Lustre （Lustre File System）

      由中科院計算所工程中心自主研發(fā)的、后經中科儲天公司產品化的藍鯨集群存儲系統（BWStor）是以藍鯨集群文件系統BWFS(Blue Whale File System)為核心技術的集群存儲系統，是一種分布式的集中存儲系統。它可以很好的滿足以視頻網站為代表的新媒體行業(yè)的存儲需求。同時，BWStor是具有中國特色的自主知識產權存儲產品的杰出代表之一。

      BWStor 的特點可完全滿足視頻網站對流媒體服務的存儲需求，其特點如下：

      . 統一的全局命名空間

      . 文件級共享

      . 先進的分布式存儲結構

      . 高的聚合I/O帶寬

      . 跨Linux平臺和Windows平臺的文件共享

      . 分布式結構，卓越的擴展能力

      —線性擴展I/O帶寬

      —良好的系統負載平穩(wěn)性

      —動態(tài)擴展存儲容量

      . 維護簡便??管理、監(jiān)控一體化

      . 高可用??全冗余的結構

      . 部署快速??接入以太網交換機，安裝客戶端，即可使用

      . 成本可控??成本隨容量和速度的增長而增長

      BWStor所具備的特點，很好的切合了視頻網站對存儲的需求：

      –文件共享、統一的全局命名空間??上傳服務器和流媒體服務器之間的文件可見性；多臺流媒體服務器間的存儲容量共享

      –多臺存儲設備間的存儲速度的聚合??流媒體服務器可用的存儲速度負載均衡

      –跨平臺共享（Windows/Linux）??支持不同平臺的流媒體服務器、上傳和其他服務器

      –容量線性可擴展??使流媒體服務能應對不斷擴大的存儲容量需求

      –帶寬隨著容量線性增長??使流媒體服務能應對不斷擴大的用戶訪問量； 可以按需擴大流媒體服務器的數量而不用擔心存儲

      –成本需隨著容量的擴展而擴展??良好的成本控制

      –全冗余結構??穩(wěn)定的強壯的存儲系統

      BWStor邏輯圖如下：

   
      作為第三代的存儲技術，BWStor采用帶外體系結構，能夠支撐優(yōu)質的流媒體服務、提升新媒體的核心競爭優(yōu)勢、充分滿足現有需求，并可積極地應對未來業(yè)務發(fā)展對存儲應用提出的巨大挑戰(zhàn)。BWStor的使用和管理與集中式存儲一樣方便，拓撲圖如下：

  
   
      隨著新媒體行業(yè)的發(fā)展，大家都會遇到各種各樣的存儲方面的問題，非常歡迎業(yè)界的朋友與筆者共同探討有關新媒體行業(yè)的存儲問題。

      MSN：zhilizhu@hotmail.com
      E-mail：zhuzhili@nrchpc.ac.cn

多易