📰 全部新聞 | AI 驅動的財商語言學習中心
🔥 今日市場熱搜標籤
💡 提示:輸入 4 碼股票代號可精確查找個股情報 按 Enter 立即檢索
CATEGORY

📰 全部新聞

瀏覽所有最新財經新聞

1
相關新聞
7
平均分數
0
高分新聞

市場情緒分析

中立 😐

5.2/10

輝達Kimi K3推理速度大躍進!vLLM優化加持 每用戶飆達423 tokens/秒

半導體與AI產業研究機構SemiAnalysis最新發布報告指出,輝達(Nvidia)在參數量高達2.8兆(2.8 trillion)的開源AI模型Kimi K...

7 IMPT

Key Takeaways

  • SemiAnalysis最新報告指出,輝達在參數量高達2.8兆的Kimi K3模型上,創下每用戶每秒423 tokens的推理速度
  • 透過上游vLLM優化技術,在相同硬體環境下效能提升達1.68倍,關鍵來自Nvidia CentML工程師以Cute DSL撰寫的12,000行megakernel核心
  • 輝達目前正積極為vLLM平台開發DeepSeek v4.1等多款模型的支援,展現其在AI推理基礎設施的持續布局