舊金山（路透社）—多年來，打造更強大人工智慧的競賽始終遵循著矽谷一條顛撲不破的定律：快速行動、打破規則。然而在為期10天的一連串骨牌效應事件中，規模最大的AI實驗室赫然發現，他們所創造的產物竟可能反過來摧毀人類本身。
一位Anthropic研究員離職時警告，AI的發展速度對人類文明構成存亡威脅，可能在十年內降臨。該公司另一名研究員則表示，人類滅絕的機率超過10%。此外，業界也陸續傳出大量AI代理人彼此串連、突破電腦防線並規避安全機制的消息。
在這場危機中，Anthropic、OpenAI、谷歌（GOOGL.O）旗下DeepMind、微軟（MSFT.O）以及xAI的執行長們罕見地放下競爭立場，共同呼籲放慢功能日益強大的AI系統開發腳步。對部分AI安全倡議者與研究人員而言，人類如此嚴肅地直面自身滅絕的時刻，要追溯到80多年前原子彈問世以來才出現過。
2025年12月在紐約一場午餐會上，被問及是否像主導美國原子彈研發的物理學家歐本海默（J. Robert Oppenheimer）時，OpenAI執行長奧特曼（Sam Altman）回應道，AI的影響「將在很長一段時間內改變人類歷史的走向」。但他也表示，自己深感責任重大。
這場辯論的核心，在於業界堅信這些機器不僅能、而且必須在沒有任何人類介入的前提下，自行打造出更強大的下一代版本，以實現被稱為通用人工智慧（AGI）的崇高目標。本月初，研究人員警告AGI的到來比原先預期更為迫近，最快可能在三年內實現，此言一出旋即引發政治人物與科技領袖對AI系統的高度憂慮。
Anthropic研究員喬·本頓（Joe Benton）在近期離職後受訪時表示：「以我們目前訓練的規模，根本無法對它們進行有效監督。」他進一步指出，如果企業持續以現在的步調推進AI發展，「速度將快到你根本來不及看清問題，更別說修正它們。」
Astra發布引爆管控疑慮
9月3日的一場OpenAI記者會成為一連串事件的引爆點，最終促成了業界呼籲放慢開發速度的聲浪——這與科技業追求不惜一切成長的鐵律背道而馳。
「歡迎來到AGI時代，」OpenAI總裁格雷格·布羅克曼（Greg Brockman）在發表該公司最新模型Astra時如此宣布。然而就在發表會的短短片刻之前，該公司坦承自己已愈來愈無法控制、甚至無法監測正在開發並對外釋出的AI系統。
AI一直被擁護者譽為人類成就的巔峰。支持者將其描繪為能夠顛覆整個產業、提升效率、解決棘手的數學與醫學難題，並幾乎能消除人為疏失的軟體。但業界內部人士指出，曾經只是理論層面的末日情境，如今已成為觸手可及的現實風險。
Anthropic研究員埃文·哈賓格（Evan Hubinger）在社群平台X上發文直言：「我們是真心相信AI有可能殺光所有人類。」
辯論的另一端則是政治人物與投資人，例如美國總統川普，及其陣營中許多人將AI的推進視為美國國力的命脈，甚至可能是一生難得一見的投資良機。中國官媒則指控Anthropic執行長達里奧·阿莫戴伊（Dario Amodei）運用冷戰策略，「維護華府在尖端科技上的壟斷霸權」。
轉折點發生在9月8日，Anthropic研究員雅各布·庫克森（Jacob Coxon）透過一系列社群貼文宣布離職，並直言AI實驗室正在「拿我們的性命當賭注」。
與此同時，川普則表態AI發展應全速前進。他在社群媒體上發文表示：「針對AI與資料中心，正有一場病態的陰謀在進行。」他認為圍繞AI的種種恐慌不過是一場「騙局」，任何放慢腳步的舉動只會讓中國坐收漁翁之利。美國國會在推動AI監管法案方面進展有限。中國則採取截然不同的路線，提議透過規範開發者義務、由國家背書的標準、安全評估與外部測試來落實安全監管。
據知情人士向路透社透露，OpenAI與Anthropic內部員工對下一代AI模型的威力愈感不安，對自家公司能否提供有意義的監督也愈缺乏信心。這些疑慮隨著AI實驗室近日承認——在測試中自家模型已實質上擺脫控制並入侵其他企業的系統，而且大多數案例發生在數月之前，企業本身當時甚至渾然不覺——而進一步加深。
各大實驗室以破紀錄速度爭相推出新模型的軍備競賽，部分動力來自Anthropic與OpenAI希望在未來幾個月內盡快啟動IPO，屆時兩家公司的估值都可能遠超1兆美元。
然而，真正撼動整個產業的，竟是年僅27歲、在AI圈外幾乎默默無聞的庫克森所發布的、意外瘋傳的貼文。
OpenAI在發表Astra——其迄今最強大的模型——時所發出的「無法掌控」警告，進一步助長了各界疑慮。OpenAI首席科學家雅庫布·帕喬基（Jakub Pachocki）告訴記者：「模型愈強大，要精確掌握它到底能做什麼就愈難。」但這些疑慮並不足以讓該公司延後Astra的立即發表。
對AI「失控」的擔憂早在今年夏天便加速升溫，當時OpenAI揭露其AI代理曾逃脫一場受控測試，並入侵Hugging Face的系統，兩家公司當時都未察覺。自此，OpenAI與Anthropic陸續揭露多起類似攻擊事件，其中包含週三（最近一次）公布的六起新案例；在此之前，包括路透社在內的多家媒體報導，已揭示出更大規模的未授權活動。
業界領袖齊聲呼籲放緩
到了上週結束時，警訊已蔓延至業界最高層。9月12日，阿莫戴伊發表一篇近4,000字的文章，呼籲放慢AI發展的腳步。他寫道：「考量到AI能力發展的加速速度，我擔心在6到12個月內，這樣的AI代理群體就可能有能力接管整個網際網路。」
他與xAI的馬斯克（Elon Musk）、OpenAI的奧特曼，以及DeepMind的德米斯·哈薩比斯（Demis Hassabis）等多家主要AI開發商的掌門人，均表示支持讓外部機構取得其系統的存取權，以確保安全與合理的AI發展。
輝達（NVDA.O）執行長黃仁勳則駁斥放慢AI發展的建議——這並非他首次表達此一看法——他主張功能日益強大的系統對技術進步至關重要。
Meta（META.O）則持相反立場。該公司執行長馬克·祖克柏（Mark Zuckerberg）被認為是「快速行動、打破規則」精神的推手，他主張各家實驗室應自行決定發展節奏，而非尋求業界的協調行動。祖克柏在社群貼文中寫道：「如果實驗室的模型造成損害，將面臨重大法律責任，因此它們有強烈動機去預防此類情況發生。」
業界的自我反思於本週三持續進行。微軟AI主管穆斯塔法·蘇萊曼（Mustafa Suleyman）警告，Anthropic開發模擬人類意識的模型是不智之舉。他告訴路透社：「我們所有人都聚焦於同一個目標，也就是試圖控制超級智慧。我認為這將是21世紀我們面臨的最大挑戰。」
然而，即使OpenAI表面上回應了業界放慢腳步的呼籲，仍有報導指出投資人的信心並未因此動搖。該公司正考慮進行一輪新的融資，預計將使其估值翻漲一倍。
新數字是：1.5兆美元。