浙江工業(yè)大學前沿交叉科學研究院副院長姚信威,以“智能物聯(lián)融合感知與計算:多模態(tài)數(shù)據(jù)處理”為主題展開分享,聚焦于大模型和智能計算方向,就多源智能感知,群體優(yōu)化決策及多跨協(xié)同系統(tǒng)做相關(guān)介紹,探討從基礎(chǔ)理論、關(guān)鍵技術(shù)到示范應(yīng)用,介紹浙江工業(yè)大學群智感知與協(xié)同科研團隊基于感知領(lǐng)域數(shù)據(jù)處理的相關(guān)工作。
人類正在進入一個“人機物”三元融合的時代,需打破信息、物理、社會三元空間隔離,促進人機物要素彼此激發(fā)跨域協(xié)同。這是一個萬物智聯(lián)、群智涌現(xiàn)的新時代,面臨群智涌現(xiàn)非確定性、群智計算可演化性、群智質(zhì)量可保障性等新挑戰(zhàn),面臨群智涌現(xiàn)機理、群智計算概念模型、群智認知和決策等科學問題,群智計算在智慧城市、智能制造、智能家居等重要領(lǐng)域具有廣泛的應(yīng)用前景。
面對當前急速增長的海量數(shù)據(jù),企業(yè)如何有效應(yīng)對存儲成本高、如何突破存儲性能瓶頸等挑戰(zhàn),如何加強對海量數(shù)據(jù)存儲、管理和分析的能力?浪潮分布式存儲總經(jīng)理姜樂果,發(fā)表“生成式AI時代 極致存儲 智慧有數(shù)”的主題演講。
姜樂果提到,AI大模型訓練有三要素,算力,算法和數(shù)據(jù),三者相互配合,緊密協(xié)作,才能更快更好得訓練出更優(yōu)質(zhì)的模型,提升企業(yè)經(jīng)營決策效率。企業(yè)當前的數(shù)據(jù)中心算力建設(shè)十分充分,但存儲能力的配套設(shè)施往往存在不足,導(dǎo)致在AI模型訓練時,數(shù)據(jù)導(dǎo)入和準備耗費大量時間,訓練過程加載慢,嚴重影響AI大模型訓練的效率。
浪潮重磅發(fā)布的AS15000G7系列AI專用的高性能存儲新品,主要是面向生成式AI全階段的高性能融合存儲,可以同時提供數(shù)據(jù)訪問高的吞吐量、高的IOPS和低時延,全面加速數(shù)據(jù)訓練和推理過程;融合多種存儲存儲服務(wù),實現(xiàn)AI訓練全流程數(shù)據(jù)高效流動,無需來回拷貝數(shù)據(jù)。新品在性能、管理、融合和效率方面追求極致,可為AI大模型數(shù)據(jù)全生命周期的高效存儲提供有力保障。
隨后,阿里云智能高級技術(shù)專家季旭,分享了高性能存儲在AIGC場景下的機遇與實踐。他指出,大模型的參數(shù)量在不斷增大,當前高性能硬件基礎(chǔ)設(shè)施給閃存系統(tǒng)帶來了更多挑戰(zhàn),大模型的計算量的增長遠快于硬件迭代速度。阿里云CPFS是為HPC高性能計算與AI機器學習設(shè)計的并行文件系統(tǒng),從輸出形態(tài)上可支持公有云和混合云, 最大可以支持TB級的吞吐能力,在云上和云下都具備一致的使用體驗。我們熟知的FAST天眼的背后就有高性能并行網(wǎng)絡(luò)CPFS提供支撐。
上??萍即髮W教授、研究員、博導(dǎo)殷樹發(fā)表題為“RBC:通過調(diào)節(jié)帶寬改善SSD寫性能和長尾延遲”的演講。他表示,基于LSM-Tree的KV存儲系統(tǒng)性能會受到讀放大和寫放大影響,會受到寫停頓的影響而出現(xiàn)波動,RBC通過調(diào)節(jié)數(shù)據(jù)刷新和壓縮操作的帶寬的方式可降低寫停頓和寫放大對整體性能的影響,具體而言,RBC針對RocksDB寫性能與長尾延遲的問題提出了一種新的優(yōu)化思路,通過調(diào)節(jié)flush和compaction對帶寬的占用比例改善寫性能和長尾延遲。
“弱人工智能只能完成特定任務(wù),強人工智能就是通用人工智能,能具備多種能力甚至是全能力;超人工智能將全面超越人類現(xiàn)有水平,理論存在?!?nbsp;最后,上海市計算機學會存儲專委副主任陳雪菲,就“AI大模型與存儲新發(fā)展”發(fā)表個人洞察與相關(guān)研究。
生成式AI是一個典型的并行計算應(yīng)用,并行度越高越有利。Transformer結(jié)構(gòu)內(nèi)存壓力很大, 如訓練 GPT-系列,如果按照 10000 億參數(shù)量計算,假設(shè)用單精度,每個參數(shù)要占 4 個字節(jié),僅參數(shù)就要占4000G內(nèi)存,梯度也要占4000G內(nèi)存。張量并行:一個模型單卡放不下,切開放,弊端是通信開銷太大;流水線并行:層數(shù)和GPU 數(shù)量之間關(guān)系,就像工程隊數(shù)量(GPU) 與樓層數(shù)(流水線層數(shù))關(guān)系一樣密切。流水線層數(shù)和 GPU 之間比值越大,并行效率越高。20 個工程隊蓋 1000 棟樓,很多時候并行度可以達到 20,模型必須在合理的延遲時間內(nèi)做出響應(yīng)。誰也不想在聊天APP中等待幾秒鐘才開始收到輸出。
對于存儲技術(shù)發(fā)展,他指出在介質(zhì)方面,DNA存儲有所進展。DNA有兩種保存方式,一個是體內(nèi)保存,還有一個是體外保存。麻省理工一個教授講過,用一個咖啡杯裝DNA,這點容量就可以把全世界的數(shù)據(jù)放進去。天津大學在2022年把敦煌壁畫放到DNA里,放進去以后在常溫下破壞掉,通過兩個手段,一個是DNA重建技術(shù),重建后還有數(shù)據(jù)缺失,數(shù)據(jù)用了噴泉碼,實現(xiàn)了97%的數(shù)據(jù)恢復(fù),放在圖畫上基本上看不出差別。此外,當前的CXL 3.0引入了真正的內(nèi)存共享,利用新的增強一致性語義,多個主機可擁有一個共享段的一致副本。
數(shù)據(jù)與存儲與人工智能技術(shù)融合發(fā)展,將釋放無限潛能,我們將不斷在創(chuàng)新實踐中洞見新機遇。