愛數(shù)一體化容災技術(shù)——重復數(shù)據(jù)刪除
愛數(shù) 發(fā)表于：12年06月20日 10:30 [來稿] DOIT.com.cn
基于數(shù)據(jù)類型優(yōu)化的重刪技術(shù)
早在2008年，愛數(shù)就在重復數(shù)據(jù)刪除技術(shù)領(lǐng)域取得相關(guān)專利，與其他重復數(shù)據(jù)刪除技術(shù)不同之處在于，愛數(shù)一體化容災技術(shù)平臺所采用的重復數(shù)據(jù)刪除有三個主要核心優(yōu)勢：
1. 基于數(shù)據(jù)類型的指紋識別：通常的做法是基于全局的指紋庫識別進行重復數(shù)據(jù)塊的識別，但是我們發(fā)現(xiàn)，不同類型的數(shù)據(jù)，本身的重復率就不高，比如辦公文檔類型 和視頻圖片類型，測試數(shù)據(jù)表明，混合類型的數(shù)據(jù)重刪率與這種基于數(shù)據(jù)類型的指紋識別相比，重刪率基本相當，但是性能卻有不及后者。正是通過這種小改進，獲 得了極大的性能和效率的提升。當然，類型識別的基礎(chǔ)是OFS對象文件系統(tǒng)提供的全局對象管理算法。
2. 可動態(tài)適應的數(shù)據(jù)分塊技術(shù)：通過上述基于數(shù)據(jù)類型的全局指紋識別，愛數(shù)重刪技術(shù)采用了動態(tài)分塊技術(shù)，也就是可以根據(jù)類型、源端對象大小進行動態(tài)調(diào)整，這種 情況比較適合于數(shù)據(jù)對象大小不一的情況下，重刪效果的提升，比如，在大量小數(shù)據(jù)的場合下，和少量大數(shù)據(jù)的場合下，二者采用同樣分塊大小，對于性能和效果表 現(xiàn)都不是很理想，而采用動態(tài)分塊技術(shù)，可以針對不同范圍內(nèi)的數(shù)據(jù)對象進行適應性分塊，使得匹配概率和效率更高。
3. 面向一體化容災的重刪：愛數(shù)一體化容災技術(shù)體系下的重刪技術(shù)，可以適用于定時備份、CDP實時備份和應用容災，對于定時備份，顯而易見，而對于CDP實時 備份和應用容災，由于實時數(shù)據(jù)堆積，存儲容量、初始化的性能，都是極大的調(diào)整，通過重刪，提升的正是在實時和容災數(shù)據(jù)初始化的性能和空間的有效利用率。
這種基于數(shù)據(jù)類型優(yōu)化的源端重復數(shù)據(jù)刪除，對于用戶而言，可以根據(jù)實際情況進行數(shù)據(jù)類型和數(shù)據(jù)塊分塊范圍進行優(yōu)化，對于高端用戶而言，其靈活性和可配置性有了更優(yōu)的效果。
