俄勒岡州立大學(Oregon State University)並非在打造「天網」(Skynet),但在柯瓦利斯(Corvallis)這座大學城裡,一件相當引人注目的事情正在發生。
人工智慧世界可能正逼近一項重大轉折——從主要以語言學習的機器,邁向學習「物理世界模型」的機器。而奧勒岡州大,憑藉著輝達(NVIDIA)創辦人、奧勒岡州大校友黃仁勳(Jensen Huang)及其妻子羅莉·米爾斯·黃(Lori Mills Huang)捐贈的5,000萬美元,正在這個轉折加速成形之際,打造一套結合運算、機器人技術、模擬與真實世界研究的基礎設施。
科幻版本是《魔鬼終結者》,而科學界對此較不戲劇化的稱呼,則是圍�「世界模型」建構的「具身AI」(Embodied AI)。
從語言模型走向物理世界的AI
我們大多數人是透過大型語言模型(LLM)認識人工智慧的——ChatGPT、Claude、Gemini及其同類系統。這些系統雖然令人驚嘆,但它們是透過海量的人類文字資料訓練來預測與生成語言。然而,部分頂尖AI研究人員認為,這種途徑正面臨根本性的瓶頸。Meta的首席AI科學家、現代深度學習先驅之一楊立昆(Yann LeCun)多年來主張,語言模型缺少了人類與動物幾乎毫不費力就能獲得的能力:對物理世界的工作理解。
一個孩子從小學會:未受支撐的物體會掉落、被椅子擋住的東西可能還存在、推動物體可以使其移動、行為會產生後果,最終學會一連串行為可以達成目標。這些知識大多並非從句子中學來,而是透過觀看、觸碰、移動、預測——以及發現預測錯誤的過程中習得。
這正是研究人員愈來愈常稱為「世界模型」(World Models)的核心概念。世界模型不再只是預測下一個字,而是�試預測世界的下一個狀態。基於當前發生的事情,下一步可能會發生什麼?若我採取某個行動,將產生何種後果?
以Meta的V-JEPA 2為例,該模型被明確描述為透過影片訓練、用以理解與預測物理世界中事件的世界模型,包括機器人在未知環境中的規劃與控制。最終目標是讓AI能夠在物理世界中學習、規劃與運作,而非僅是符號與螢幕上的智能。
然而,這也帶來一個巨大的新問題:
訓練此類智能所需的「經驗」究竟從何而來?
正是這個問題,讓我重新審視正在俄勒岡州興建的這項建設。
黃仁勳回饋母校奧勒岡州大
輝達創辦人暨執行長黃仁勳與妻子羅莉·米爾斯·黃相識於奧勒岡州立大學工程系學生時代,兩人均為該校校友。
2022年,他們捐出5,000萬美元,用以興建位於柯瓦利斯的「黃仁勳與羅莉·米爾斯·黃協同創新中心」(Jen-Hsun and Lori Mills Huang Collaborative Innovation Complex)。
這座預計於2026年底啟用的園區,總樓地板面積約14.3萬平方英尺,是一座跨學科研究設施,核心配備全國最強的大學超級電腦之一。奧勒岡州大表示,研究範疇將涵蓋人工智慧、機器人與智能系統、材料、氣候、水資源及其他高度依賴運算的領域。
黃仁勳夫婦本身將這部超級電腦比喻為加速研究的「時光機」,並特別點名機器人技術,以及氣候科學、海洋學與材料科學。但其中最有趣的部分不僅止於電腦本身。
園區內還將配備一座採用高解析度動作捕捉技術的延展實境劇場、一座「發明工坊」與「虛實整合遊樂場」(Invention Studio and Cyber Physical Playground),供下一代機器人進行建構與真實世界整合測試,還有連結研究與實地部署的彈性實驗室,以及�跨物理科學與工程學的研究設施。
換言之,這裡將具備運算、模擬、感測與實體機器,以及讓這些機器與環境互動的場所。這開始看起來相當像是「具身AI」的基礎設施。
更值得一提的是,這棟建築本身就帶有濃厚的「奧勒岡味」。我最初是從一位退休的奧勒岡州大林學教授那裡聽聞這個計畫,而他也正好是告訴我輝達執行長是奧勒岡州大校友的那個人。他特別指出建築中採用的特殊木構造系統。這並非只是建築外觀的裝飾。
黃氏中心本身就是一項先進「重型木構造」(mass-timber)的工程實驗,與奧勒岡州大林學院及「高木設計研究院」(TallWood Design Institute)合作開發。重型木柱、木樑與複合樓板經工程設計,能滿足精密科學設備所需的穩定性,同時相較傳統混凝土結構大幅減少「內含碳」。部分木材甚至選用奧勒岡州大麥當納—鄧恩研究林(McDonald-Dunn Research Forest)的林木。
因此,這棟或許將協助研究者教導機器認識物理世界的建築,本身就是物理世界中的一項工程實驗。
奧勒岡州大並非孤例
更具啟發性的是,美國其他幾所主要研究型大學也正出現類似的布局。
卡內基梅隆大學(Carnegie Mellon University)堪稱美國首屈一指的機器人學府,其機器人研究所已將「世界建模」(World Modeling)正式列為研究領域。今年,卡內基梅隆與富士通(Fujitsu)更成立了「實體AI研究中心」,專注於能在真實環境中安全運作的AI系統。其新建的「機器人創新中心」配備挑高機器人實驗室、動作捕捉系統、無人機飛行測試區、水箱與戶外測試設施。
麻省理工學院(MIT)的CSAIL已成立「具身智慧」(Embodied Intelligence)研究社群,聚焦的正是相同的問題:結合感知、感測、語言、學習與規劃,打造具有智慧的實體代理。MIT研究人員明確指出,真實世界互動資料的稀缺是主要障礙之一。對此的因應之一是模擬——創造豐富的虛擬世界,讓機器人在實際部署前能累積經驗。
史丹佛大學則設有「機器人與具身人工智慧實驗室」(Robotics and Embodied Artificial Intelligence Lab),其使命簡單明瞭:創造透過與物理世界互動來學習的智能系統。
今年,東北大學(Northeastern University)更進一步推出「實體AI研究」計畫與「NU-WORLD」開放式世界模型平台。其研究人員將目標描述為:讓AI能從豐富的多模態資訊中學習、建構符合物理法則的模型、在不確定性下進行推理,並在真實世界中採取行動。
這些機構並非執行某個統一規劃的國家計畫,而是在追求同一科學問題的不同面向,且這些面向正開始匯聚。
這或許正是奧勒岡州大可以切入的位置。
從語言AI到實體AI
試想以下新興的研究迴路:
物理世界 → 攝影機與感測器 → 資料 → 世界模型 → 模擬 → 預測 → 機器人行動 → 再次回到物理世界
機器人採取行動,現實給予回應,AI發現其預測是否正確,然後從中學習。這與從網路爬梳的另一批兆級詞彙有本質上的不同。
奧勒岡州大在此具有若干獨特優勢。它並非僅是一所資訊科學大學,而是橫跨機器人學、工程學、林學、農學、海洋學、氣候科學、材料研究,並設有處理極為複雜物理環境的野外研究站。森林是「世界」,農場是「世界」,海洋環境是「世界」,工廠與實驗室也是「世界」。在其中運作的機器人,最終可能生成世界模型研究者所需的那種多模態、因果關係的經驗資料。
這並不代表奧勒岡州大已宣布黃氏中心將成為「世界模型中心」——它並沒有。但各項條件拼在一起令人矚目:一所擁有現有機器人專業的大學,正從AI硬體革命的核心人物之一手中獲得龐大的AI運算能量,同時建置模擬、動作捕捉、機器人、感測與真實世界實驗的設施。
與此同時,美國部分頂尖AI機構正匯聚於一個共同命題:繼語言模型之後的下一個重大進展,可能是不再僅僅描述世界,而是透過預測與互動來學習世界運作方式的機器。
奧勒岡州大最終或許將在這張桌子上佔有一席相當有趣的位置。
教導機器認識世界的陰暗面
這項技術轉型還有另一面,值得在相關基礎設施普及之前及早關注。世界模型需要經驗,經驗意味著資料。
試圖理解物理世界的AI,潛在所需資料可能遠多於當今語言模型所消耗的書籍、網站與對話。它需要影片、聲音、空間關係、運動、物理互動,以及隨時間推移的行為後果。這既可能產生非凡的科學工具與功能強大的機器人,也可能造就人類有史以來最全面的監控基礎設施。
我們已能看見這個問題的初級版本。AI驅動的攝影機網路能識別車輛並重建跨社區的移動軌跡。今日的系統或許主要辨識車牌或物體,未來的實體AI系統則將日益設計來理解場景、關係、活動與隨時間發生的變化。
同一個技術演進路�,讓機器人得以追問「我周圍正在發生什麼?接下來可能會發生什麼?」也讓監控網路能對我們提出完全相同的問題。這並不代表世界模型研究本質上是邪惡的,而是意味著其治理至關重要。
第二個與俄勒岡州特別相關的議題,則是這一切運算所帶來的實體成本。
資料中心需要土地、電力、輸電容量、冷卻基礎設施,有時還需要龐大的公共投資。然而,相較於所投入的資源,超大型資料中心所創造的永久本地就業機會可能少得驚人。這項區別至關重要。
一座由科學家、工程師、研究生、實驗室、機器人與合作研究組成的大學研究園區,在經濟上等同於一座主要裝滿伺服器的巨型倉庫。前者能成為知識生態系,培養人才、催生發現、分拆公司、吸引研究者,並與在地學校及產業建立關係。在理想情況下,所產生的知識將成為公共科學資產的一部分。
相較之下,傳統資料中心或許提供營建工作、稅收與部分永久就業,但社區有權質疑:這些效益是否足以正當化其所消耗的電力、水資源、土地與基礎設施?
這項對話已在柯瓦利斯展開。我最近在當地一場啤酒節活動中,與一位參與市政府事務的朋友進行了正是這個議題的討論。他的疑慮並非針對人工智慧或先進運算本身,而是針對在柯瓦利斯及其周邊所興建、消耗大量在地資源,卻未能創造足夠持久在地就業的資料中心。
我認為這正是我們應該做出的區別。
核心問題不在於我們是否要建置AI基礎設施,而在於我們要建置何種AI基礎設施、誰將受益,以及社區從中換得什麼。
黃氏中心或許代表了更具吸引力的版本:將龐大的運算資源與研究者、學生、機器人實驗室、科學學科及周遭世界實體連結在一起。
但即便是這種模式,大學仍應及早面對以下問題:
用於訓練具身AI的感測器資料歸誰所有?
被意外拍攝入鏡的民眾是否可能被辨識身份?
為機器人研究創建的資料集,日後是否可能被挪作監控用途?
部分基於公共環境訓練的世界模型,由誰掌控?
當大學研究轉移至商業系統時會發生什麼?
社區應投入多少電力與其他實體基礎設施用於AI運算?
這些論點並非要停止研究,而是主張在技術發展的同時同步建立治理框架。因為從語言模型到世界模型的轉型,最終的意義可能遠超越更好的ChatGPT。我們或許正開始打造能持續觀察世界、構建內部世界表徵、預測下一步將發生什麼,並據此採取行動的機器。
奧勒岡州大可能成為探索這項轉型的其中一個據點。若果真如此,俄勒岡州有機會在這項技術仍處於早期階段時,提出同樣重要的問題:
我們能否學會在打造實體AI的同時,不至於意外地建構出一個「全自動監控社會」的基礎設施?