推論設備開發商Positron AI Inc.今日宣布完成8.75億美元的新一輪融資,該公司開發的推論設備並未搭載高頻寬記憶體(HBM)。
本次C輪融資由NEA、Atreides Management、Valor Equity Partners、Andra Capital、SemiAnalysis Capital,以及矽谷傳奇創業家、同時也是Silicon Graphics Inc.與Netscape Inc.共同創辦人Jim Clark共同領投。此外還有十餘家機構投資人參與。Positron本輪估值達50億美元,相較於2月份成長達五倍。
【HBM供給瓶頸成切入點】
大型語言模型(LLM)運作時,會頻繁地在底層顯示卡的運算電路與記憶體電路之間搬移資料,而搬移速度通常以「記憶體頻寬」這項指標來衡量。晶片的記憶體頻寬越高,執行推論的速度也就越快。
伺服器等級的顯示卡搭載HBM記憶體,這是市面上頻寬最高的RAM類型。然而HBM的供給目前遠低於需求,再加上用來將HBM與顯示卡運算電路整合的互連元件也出現短缺,導致整個供應鏈陷入瓶頸。
總部位於內華達州雷諾(Reno)的Positron宣稱,公司已成功繞過這項供應鏈危機。其推論設備以LPDDR5X記憶體取代HBM,而LPDDR5X通常應用於智慧型手機。
LPDDR5X相較於HBM更容易取得,成本也更低。但有一項明顯的代價:其記憶體頻寬顯著較低,通常意味著推論速度較慢。Positron表示,公司已找到彌補這項效能落差的方法。
根據Positron說明,多數AI加速器對其HBM模組的頻寬利用率不到30%;相比之下,Positron的推論設備能釋放LPDDR5X超過90%的吞吐量。公司指出,較高的硬體使用率足以彌補理論峰值效能上的差距。
【旗艦Titan與自研Asimov晶片】
Positron的旗艦系統命名為Titan,最多搭載18.4 TB的LPDDR5X記憶體,可提供23.68 Tb/s的記憶體頻寬。Positron宣稱,如此龐大的RAM容量使單一Titan設備即可運行參數量達32兆、上下文視窗達100億token的LLM。
Titan採用名為Asimov的自研晶片來執行推論計算。該處理器以「脈動陣列」(systolic array)為核心架構,由一組相同的運算模組組成,每個模組皆配有共置記憶體。Asimov利用共置記憶體來儲存LLM權重(weights),這是影響LLM輸出的關鍵數值。
晶片的脈動陣列由多個專門執行激活函數(activation functions)的模組支援。激活函數是用來決定LLM中哪些神經網路應參與推論任務的程式碼片段。此外,Asimov還內建CPU核心,作為可程式化的「逃生艙」(escape hatch),可接管其他模組不適合處理的任務。
每台Titan設備最多搭載8顆Asimov晶片。客戶可將多套系統串接成叢集,最多可擴充至16,384個加速器。
【宣稱性價比超越Nvidia Blackwell】
Titan與Asimov目前尚未進入量產。Positron表示,模擬資料顯示,由其晶片驅動的伺服器機架,每美元可處理的token數量最高可達Nvidia Corp. Blackwell GB300 NVL72設備的26倍。
執行長Mitesh Agrawal表示:「我們現在的重點是將Asimov完成tape out、將Titan推向量產,並擴大製造規模以滿足眼前的需求。這筆資金正好讓我們擁有執行這些任務所需的資源。」
Positron預計於今年年底使用台積電(Taiwan Semiconductor Manufacturing Co.)的3奈米製程完成Asimov的tape out,量產則將於2027年下半年隨之啟動。與此同時,Positron將加速Titan設備的製造工作,並特別重視向合作夥伴爭取LPDDR5X的供貨承諾。