2025年7月25日，閃迪官宣前英特爾圖形架構(gòu)負(fù)責(zé)人Raja Koduri正式加入其HBF（High-Bandwidth Flash，高帶寬閃存）內(nèi)存技術(shù)顧問委員會(huì)，要在不增加成本前提下，實(shí)現(xiàn)AI GPU顯存容量的提升，目標(biāo)是最高部署4TB內(nèi)存，遠(yuǎn)超當(dāng)前HBM標(biāo)準(zhǔn)8-16倍。

Raja與閃迪的合作意義重大，因?yàn)槠鋼碛蠫PU開發(fā)背景，尤其是在計(jì)算架構(gòu)設(shè)計(jì)方面的經(jīng)驗(yàn)，這與閃迪致力于生產(chǎn)HBF實(shí)現(xiàn)更高容量VRAM（顯存）的使命契合。未來(lái)，閃迪計(jì)劃將HBF打造為一個(gè)開放標(biāo)準(zhǔn)生態(tài)系統(tǒng)，進(jìn)一步促進(jìn)與GPU供應(yīng)商的合作。

以下是關(guān)于HBM與HBF GPU內(nèi)存對(duì)比及運(yùn)行Frontier LLM的相關(guān)情況：

192GB配置HBM的GPU，HBM內(nèi)存具有較高的帶寬和較低的延遲，適合處理需要快速數(shù)據(jù)訪問的計(jì)算任務(wù)。

3,120GB配置HBF的GPU，HBF內(nèi)存能夠提供更大的存儲(chǔ)容量，適合處理大規(guī)模數(shù)據(jù)集和復(fù)雜模型，尤其是在需要長(zhǎng)時(shí)間數(shù)據(jù)存儲(chǔ)和頻繁數(shù)據(jù)交換的場(chǎng)景中表現(xiàn)優(yōu)異。

在運(yùn)行Frontier LLM時(shí)：

? 模型參數(shù)：Frontier LLM擁有1.8萬(wàn)億（1.8T）參數(shù)。

? 權(quán)重精度：以16位權(quán)重進(jìn)行計(jì)算。

內(nèi)存需求方面，對(duì)于配置HBF的GPU，需要3600GB內(nèi)存來(lái)運(yùn)行該模型，而配置HBF的GPU的總內(nèi)存為4096GB，能滿足運(yùn)行需求。相比之下，配置HBM的GPU的192GB內(nèi)存顯然無(wú)法滿足此類大規(guī)模模型的內(nèi)存需求。

總結(jié)來(lái)說(shuō)，HBF GPU擁有超大內(nèi)存容量，在運(yùn)行大規(guī)模模型如Frontier LLM時(shí)展現(xiàn)出明顯優(yōu)勢(shì)，而HBM GPU則在需要高帶寬和低延遲的小規(guī)模、高性能計(jì)算任務(wù)中更為適用。

Raja Koduri是這樣說(shuō)的：當(dāng)我們開始開發(fā) HBM 時(shí)，我們的重點(diǎn)是提高每瓦帶寬和每平方毫米帶寬（這兩者都是移動(dòng)設(shè)備的重要制約因素），同時(shí)保持與現(xiàn)有解決方案的競(jìng)爭(zhēng)力。HBF 的重點(diǎn)是大幅提升內(nèi)存容量（每美元、每瓦和每平方毫米），同時(shí)提供具有競(jìng)爭(zhēng)力的帶寬。

理解一下就是，HBM（高帶寬內(nèi)存）和HBF（高帶寬閃存）在內(nèi)存技術(shù)的發(fā)展路徑上，兩者設(shè)計(jì)不同，HBM的出現(xiàn)重點(diǎn)是為了提升單位功耗（每瓦）和單位面積（每平方毫米）的帶寬密度，滿足移動(dòng)設(shè)備、顯卡等對(duì)高帶寬和低功耗的雙重要求。而HBF則轉(zhuǎn)向解決大模型時(shí)代最核心的痛點(diǎn)——內(nèi)存容量不足。

兩者分別服務(wù)于“算的快”和“裝的多”兩種不同任務(wù)場(chǎng)景，共同推動(dòng)AI存力架構(gòu)的演進(jìn)。

最后分享一下Raja Koduri這位大佬的背景：

AMD時(shí)期：2001年加入AMD的前身ATI Technologies，擔(dān)任高級(jí)技術(shù)開發(fā)總監(jiān)。

ATI 被AMD收購(gòu)后2009年之前一直擔(dān)任AMD的圖形首席技術(shù)官。

2015年AMD重組圖形部門并成立Radeon技術(shù)部門，他被提升為高級(jí)副總裁兼首席架構(gòu)師，簡(jiǎn)單來(lái)說(shuō)，這個(gè)部門負(fù)責(zé)從零開始設(shè)計(jì)、生產(chǎn)、優(yōu)化Radeon系列顯卡，讓它能跑得快、玩得爽、畫得美，還支持新技術(shù)。

蘋果時(shí)期：2009年至2013年，在蘋果公司擔(dān)任圖形架構(gòu)總監(jiān)，參與蘋果的圖形硬件開發(fā)，助力蘋果Mac電腦實(shí)現(xiàn)向高分辨率視網(wǎng)膜顯示屏的轉(zhuǎn)變。

重返A(chǔ)MD時(shí)期：2013年重返A(chǔ)MD，擔(dān)任視覺計(jì)算副總裁，負(fù)責(zé)GPU硬件和軟件。2015年AMD重組其圖形部門后，其被任命為新成立的Radeon技術(shù)集團(tuán)的高級(jí)副總裁兼首席架構(gòu)師。

英特爾時(shí)期：2017年加入英特爾，擔(dān)任核心和視覺計(jì)算集團(tuán)的首席架構(gòu)師和高級(jí)副總裁，負(fù)責(zé)開發(fā)高端獨(dú)立GPU，并擴(kuò)展英特爾在PC市場(chǎng)的集成顯卡領(lǐng)先地位。

2023年3月，英特爾CEO帕特?基爾辛格宣布，Raja Koduri 將于3月底離開公司，此后他創(chuàng)立了一家專注于游戲、媒體和娛樂領(lǐng)域生成式人工智能的初創(chuàng)公司，并加入了 Tenstorrent在人工智能和 RISC-V半導(dǎo)體領(lǐng)域的董事會(huì)。

然后是現(xiàn)在加盟閃迪，開啟HBF新時(shí)代。

崔歡歡