輝達Kimi K3推理速度大躍進！vLLM優化加持 每用戶飆達423 tokens/秒

半導體與AI產業研究機構SemiAnalysis最新發布報告指出，輝達（Nvidia）在參數量高達2.8兆（2.8 trillion）的開源AI模型Kimi K3上，成功達成每用戶每秒423 tokens的推理速度，展現驚人的硬體效能優化成果。這項突破主要歸功於一項全新上線的vLLM優化技術，讓該大型語言模型在相同硬體配置下，運行速度較先前提升達1.68倍之多。

報告進一步揭露這項效能躍進的核心功臣——一位來自Nvidia CentML團隊的工程師。該工程師運用Cute DSL語言，專門針對模型解碼（decode）階段撰寫了高度特化的核心程式碼（kernels），其程式碼規模高達12,000行，屬於業界所稱的「megakernel」（巨型核心）架構。這種將多項運算任務整合至單一大型核心的做法，能有效減少GPU在處理推理任務時的記憶體往返與排程開銷，從而大幅提升吞吐量與延遲表現。

值得注意的是，這項優化並非針對特定硬體的客製化調整，而是透過上游vLLM（開源大型語言模型推理引擎）框架所進行的通用改良，意味著其他採用vLLM部署的模型同樣有望受惠於這波效能提升。SemiAnalysis指出，輝達目前正積極將相關優化技術延伸應用至DeepSeek v4.1及其他多款主流模型，顯示其加速AI推理基礎設施布局的企圖心。

此次成果凸顯了輝達在AI加速運算領域的深厚技術底蘊。透過軟硬體協同優化，輝達不僅在GPU硬體性能上持續推進，更透過軟體層面的創新，讓既有硬體發揮更大價值。對企業用戶而言，這代表在相同基礎設施成本下，可獲得更高的模型服務量與更快的回應速度；對輝達本身而言，這也將強化其在AI資料中心市場的競爭優勢。

Kimi K3為中國AI新創公司月之暗面（Moonshot AI）所開發的大型語言模型，憑藉2.8兆的龐大參數量，在多項基準測試中表現優異。而vLLM則是由加州大學柏克萊分校（UC Berkeley）團隊開發的高效能開源推理框架，現已成為業界部署大型語言模型的主流選擇之一。隨著輝達持續投入vLLM生態系的優化工作，預料將為整個開源AI社群帶來更多技術紅利。