TRAE 推出 Kimi-K2模型服務(wù)，國(guó)際版支持 Grok

來(lái)源：發(fā)布時(shí)間：2025-07-23

近日，Kimi 團(tuán)隊(duì)正式發(fā)布了 Kimi K2的技術(shù)報(bào)告，揭示了這款全新模型背后的訓(xùn)練秘密。Kimi K2的參數(shù)總量達(dá)到1萬(wàn)億，而***參數(shù)則高達(dá)320億，憑借其強(qiáng)大的能力，Kimi K2在剛上線一周內(nèi)便在全球開(kāi)源模型競(jìng)賽中斬獲桂冠，超越了 DeepSeek，堪比 Grok4和 GPT4.5等前列閉源模型。

Kimi K2的成功，得益于其創(chuàng)新的訓(xùn)練方法和技術(shù)架構(gòu)。首先，該團(tuán)隊(duì)引入了 MuonClip 優(yōu)化器，替代了傳統(tǒng)的 Adam 優(yōu)化器。這種新的優(yōu)化器結(jié)合了高效的 token 使用和穩(wěn)定性，讓 Kimi K2在預(yù)訓(xùn)練階段無(wú)損失地處理了15.5萬(wàn)億 token 的數(shù)據(jù)。此外，團(tuán)隊(duì)還開(kāi)發(fā)了大規(guī)模的 Agentic Tool Use 數(shù)據(jù)合成 pipeline，覆蓋多個(gè)領(lǐng)域和工具，為模型提供了豐富的訓(xùn)練場(chǎng)景。

值得注意的是，Kimi K2在訓(xùn)練中采用了 “重述法” 來(lái)提高數(shù)據(jù)效率。這種方法不是簡(jiǎn)單重復(fù)，而是用不同的方式重新表達(dá)知識(shí)內(nèi)容，確保模型能夠真正理解信息。尤其是在處理數(shù)學(xué)和知識(shí)類文本時(shí)，Kimi K2通過(guò)將復(fù)雜內(nèi)容改寫成易懂的學(xué)習(xí)筆記風(fēng)格，進(jìn)一步提升了訓(xùn)練效果。數(shù)據(jù)顯示，用重寫的數(shù)據(jù)訓(xùn)練一輪，其準(zhǔn)確率超過(guò)了使用原始數(shù)據(jù)訓(xùn)練十輪的結(jié)果。

在后訓(xùn)練階段，Kimi K2還進(jìn)行了監(jiān)督微調(diào)和強(qiáng)化學(xué)習(xí)，通過(guò)構(gòu)建可驗(yàn)證的獎(jiǎng)勵(lì)環(huán)境和自我評(píng)估機(jī)制，確保模型在多樣化任務(wù)中不斷優(yōu)化表現(xiàn)。訓(xùn)練過(guò)程中還引入了預(yù)算控制和溫度衰減策略，以提高生成文本的質(zhì)量和穩(wěn)定性。為了支持如此龐大的訓(xùn)練需求，Kimi K2依托于由 NVIDIA H800構(gòu)成的大規(guī)模高帶寬 GPU 集群，確保了訓(xùn)練效率和數(shù)據(jù)傳輸?shù)母咝浴ｋS著科技的不斷進(jìn)步，Kimi K2的發(fā)布無(wú)疑為開(kāi)源模型的發(fā)展注入了新的活力，值得行業(yè)內(nèi)外的關(guān)注。

標(biāo)簽： Kimi K2 AI大模式國(guó)際版

上一篇 沒(méi)有了

下一篇 沒(méi)有了