近年來(lái)，超大規(guī)模預(yù)訓(xùn)練模型成為深度學(xué)習(xí)領(lǐng)域的熱點(diǎn)話題。從原來(lái)的“算法為王”逐漸過(guò)渡到“算力致勝”，以GPT為代表的一大批超大規(guī)模預(yù)訓(xùn)練模型接連問(wèn)世，讓業(yè)界看到了人工智能產(chǎn)業(yè)應(yīng)用的更多可能性。

算力需求的旺盛不光對(duì)AI芯片等硬件帶來(lái)了挑戰(zhàn)，也對(duì)以深度學(xué)習(xí)框架為代表的AI基礎(chǔ)軟件提出了更高的要求。傳統(tǒng)的深度學(xué)習(xí)框架以“單機(jī)單卡”為基礎(chǔ)進(jìn)行軟件架構(gòu)設(shè)計(jì)，在面對(duì)分布式訓(xùn)練需求時(shí)就會(huì)遇到諸如“內(nèi)存墻”之類(lèi)的問(wèn)題。而一流科技與之江實(shí)驗(yàn)室共同研發(fā)的OneFlow新一代分布式深度學(xué)習(xí)框架則瞄準(zhǔn)了這個(gè)世界級(jí)難題。OneFlow深度學(xué)習(xí)框架是面向大數(shù)據(jù)大模型大計(jì)算打造的人工智能計(jì)算框架，也是專(zhuān)為深度學(xué)習(xí)打造的異構(gòu)分布式流式系統(tǒng)，代表了深度學(xué)習(xí)框架的發(fā)展方向，是新一代的深度學(xué)習(xí)基礎(chǔ)軟件。OneFlow獨(dú)創(chuàng)了自動(dòng)數(shù)據(jù)模型混合并行、靜態(tài)調(diào)度、去中心化和全鏈路異步流式執(zhí)行四大核心技術(shù)，完美地解決了大數(shù)據(jù)、大模型、大計(jì)算所帶來(lái)的異構(gòu)集群分布式擴(kuò)展挑戰(zhàn)，技術(shù)水平世界領(lǐng)先。

在本次論壇上，袁進(jìn)輝博士也向大家介紹了一流科技與燧原科技、之江實(shí)驗(yàn)室的最新合作進(jìn)展。目前，OneFlow深度學(xué)習(xí)框架正在和燧原科技的新款A(yù)I芯片進(jìn)行適配，部分主流模型已經(jīng)可以在該環(huán)境下運(yùn)行。據(jù)悉，該解決方案的目標(biāo)是提供全國(guó)產(chǎn)化的超大規(guī)模模型訓(xùn)練能力。

songjy