2025年7月11日,成立僅兩年的中國AI初創(chuàng)公司——月之暗面(Moonshot AI),正式宣布將其自主研發(fā)的Kimi K2大模型在開源社區(qū)全面開放。此舉不僅標志著全球首個可商用的萬億參數(shù)級大語言模型(LLM) 面世,更因其獨特的Agentic Intelligence(自主代理智能) 設計定位、在關(guān)鍵性能指標上對包括GPT-4.1在內(nèi)的頂尖模型實現(xiàn)顯著超越,以及極具競爭力的成本優(yōu)勢,瞬間引爆全球科技界與產(chǎn)業(yè)界的廣泛關(guān)注。

本次開源的共有兩款模型,分別是基礎模型Kimi-K2-Base與微調(diào)后模型Kimi-K2-Instruct,均可商用。

文字編輯|宋雨涵

1

技術(shù)核爆:

萬億MoE架構(gòu)的三大突破

混合專家架構(gòu)(MoE)的極致優(yōu)化

Kimi K2采用1萬億參數(shù)總量的MoE設計,每次推理僅激活32B參數(shù)(占總量的3.2%),通過384個領域?qū)<覄討B(tài)路由至8個活躍專家+1個共享專家,實現(xiàn)“知識廣度”與“計算效率”的平衡。其關(guān)鍵創(chuàng)新包括:

終結(jié)訓練災難:MuonClip優(yōu)化器的革命

傳統(tǒng)萬億級模型訓練常因注意力層數(shù)值爆炸導致30%算力浪費。月之暗面自研的MuonClip優(yōu)化器引入動態(tài)反饋機制:

實時監(jiān)測注意力logit絕對值,若超過閾值??則自動縮放查詢(Query)/鍵(Key)矩陣,如同為訓練過程安裝“動態(tài)保險絲”。該技術(shù)使Kimi K2在15.5萬億token訓練中實現(xiàn)“零崩潰”,為行業(yè)首次驗證超大規(guī)模MoE的穩(wěn)定訓練方案。

大規(guī)模Agentic數(shù)據(jù)合成

為讓模型具備自治能力,Kimi K2構(gòu)建了一個ACE-style的仿真流水線:

Agentic數(shù)據(jù)合成的過程是Agent與模擬環(huán)境和用戶代理交互,創(chuàng)建逼真的多輪工具使用場景。再使用大模型根據(jù)任務準則評估模擬結(jié)果,篩選出高質(zhì)量的訓練數(shù)據(jù)。這個可擴展的流程可以生成多樣化的高質(zhì)量數(shù)據(jù),為大規(guī)模拒絕采樣和強化學習奠定基礎。

2

性能碾壓:

國產(chǎn)開源模型的“弒神時刻”

在SWE Bench Verified、Tau2、AceBench等基準測試中,Kimi K2均取得開源模型最優(yōu)成績(SOTA)。具體來看:

自主編程(Agentic Coding):在SWE-bench Verified測試中,Kimi K2成績僅次于Claude 4 Opus,優(yōu)于DeepSeek-V3和Qwen3。例如,其生成的“3D HTML山脈場景”代碼支持粒子系統(tǒng)、晝夜光照變化和拖拽縮放功能,展現(xiàn)了強大的圖形渲染能力。

工具調(diào)用(Tool Use):在復雜指令拆解任務中,Kimi K2可自動生成結(jié)構(gòu)化的ToolCall代碼,完成演唱會行程規(guī)劃、數(shù)據(jù)可視化等任務。測試中,其規(guī)劃的“Coldplay樂隊巡演行程”包含機酒預訂、日歷生成和HTML報告,雖網(wǎng)頁呈現(xiàn)質(zhì)量待提升,但信息完整度遠超同類模型。

數(shù)學推理(Math & Reasoning):在AceBench測試中,Kimi K2的推理準確率較前代模型提升22%,尤其在多步邏輯題中表現(xiàn)突出。

Kimi K2的API定價低至輸入token每百萬$0.60,輸出token每百萬$2.50,僅為Claude 4 Sonnet的1/5。價格優(yōu)勢疊加開源協(xié)議(修改版MIT協(xié)議),已推動Perplexity等國際公司啟動適配測試,國內(nèi)開發(fā)者社區(qū)涌現(xiàn)VS Code的Cline/RooCode插件生態(tài)。

挑戰(zhàn)與未來:萬億模型的“重力與羽翼”

現(xiàn)實瓶頸

部署門檻:1.01TB模型體積使本地運行需專業(yè)級硬件(8×A100起),普通開發(fā)者依賴API但面臨低額度賬戶速率限制;

模態(tài)缺失:當前僅支持文本處理,在醫(yī)療、工業(yè)等多模態(tài)場景中受限;

任務分解魯棒性:模糊指令下可能輸出冗長響應,單次查詢效果弱于持續(xù)會話。

下一代演進方向

據(jù)全球計算聯(lián)盟(GCC)預測,智能計算將向 “光電異構(gòu)架構(gòu)” 突破——光芯片與AI融合可打破算力與能效邊界,而Kimi K2的MoE設計為此類硬件革新提供了理想軟件載體。

結(jié)語:

Kimi K2的誕生標志著AI競爭進入新維度:規(guī)模不再是壁壘,行動力才是王道。當硅谷專注于“更聰明的思考”,月之暗面用開源萬億參數(shù)Agent模型證明:中國AI的終極野心,是成為智能時代的“行動引擎”。

分享到

lixiangjing

算力豹主編

相關(guān)推薦