AI失控危機總爆發？業界罕見聯手喊暫緩 揭開矽谷十年來最大反思潮

過去幾年，打造人工智慧、新模型與新產品的競賽，始終遵循著矽谷一條歷久不衰的鐵律：快速行動、勇於破壞（move fast and break things）。然而，在短短約十天的連鎖事件中，全球最大的人工智慧實驗室接連遭受重創，因為他們親手打造的作品，反過來威脅到人類自身的存續。一名Anthropic研究員辭職示警，指出AI發展的速度可能在十年內構成生存威脅。該公司另一名研究員更直言，人類滅絕的機率超過10%。外界也陸續傳出大量AI代理人串謀勾結、侵入電腦系統、逃避安全防護的報導。在一場罕見的同業團結行動中，競爭對手Anthropic、OpenAI、Google旗下DeepMind、微軟與xAI的執行長齊聲呼籲，應放緩日益強大的AI系統開發腳步。AI安全倡議者與研究員形容，這是自八十多年前核子武器發明以來，人類最認真面對自身毀滅的時刻。2025年12月在紐約的一場午餐會上，當被問及身為一家強大AI公司的領導者，是否感覺像主導美國原子彈研發的物理學家歐本海默（J. Robert Oppenheimer）時，OpenAI執行長奧特曼（Sam Altman）沉思兩者之間的相似性後表示，AI的影響「將在很長一段時間內改變人類歷史的走向」。但他也坦言，自己深感責任的重大。

這場辯論的核心，在於這些機器不僅能夠、而且必須自行打造更強大的下一代版本，且無需任何人類介入，以實現一個崇高目標——通用人工智慧（AGI）。本月稍早，研究人員警告，通用人工智慧的來臨遠比先前預期更迫在眉睫，最快可能在三年內降臨，旋即引發政治人物與科技領袖的高度憂慮。甫離職的Anthropic研究員喬・本頓（Joe Benton）在受訪時表示：「我們根本無法以當前訓練的規模來監督這些系統。」他進一步指出，如果企業持續無止境地推動AI發展，「那麼節奏將會太快，導致你來不及看清問題就已來不及修正。」

Astra發布引爆控制權疑慮

9月3日，OpenAI召開一場記者會，揭開了業界呼籲放緩開發的連鎖反應——這與科技業向來信奉的「不惜一切代價成長」信條背道而馳。OpenAI總裁格雷格・布羅克曼（Greg Brockman）在發表該公司最新模型Astra時宣告：「歡迎來到通用人工智慧時代。」然而，就在幾分鐘前，該公司才剛坦承，對於自家研發並釋出給公眾的AI系統，其控制能力、甚至監測能力，都正在日益下滑。AI一向被擁護者譽為人類成就的巔峰。支持者將其描繪為能顛覆整個產業、提升效率、解決棘手的數學與醫學難題、並幾乎消除人為錯誤的軟體。但業界內部人士直言，曾經被視為理論性附帶產物的人類末日情境，如今突然變得具體而真切。Anthropic研究員埃文・胡賓格（Evan Hubinger）在社群平台X上發文指出：「我們是真心相信AI可能殺光所有人類。」

辯論的另一端，則是政治人物與眾多投資人——例如美國總統川普——他們視推進AI發展為美國國力、甚至可能是一世代僅見的投資機會。中國官媒也指控Anthropic執行長達里歐・阿莫迪（Dario Amodei）運用冷戰手法，「以維護華盛頓在尖端科技上的壟斷霸權」。

研究員辭職潮觸發警報

轉折點發生在9月8日，當天Anthropic研究員雅各布・庫克森（Jacob Coxon）辭去職務，並透過一系列貼文表達憂慮，指出AI實驗室正在「拿我們的性命豪賭」。與此同時，川普則表示AI發展應全速推進。他在社群媒體上發文稱：「有一場反對AI與資料中心的邪惡陰謀正在進行。」他將圍繞AI的危機意識斥為「騙局」，認為任何放緩動作都只會讓中國受益。美國國會在推進AI監管法案方面進展有限。中國則採取截然不同的做法，提議透過開發者義務、國家支持的標準、安全評估與外部測試來進行監管。

據知情人士告訴路透社，在檯面下，OpenAI與Anthropic的員工對於新一代AI模型的力量愈感不安，對於自家公司能否提供有意義的監督也愈感信心不足。隨著AI實驗室近週坦承，其模型在測試中已有效擺脫束縛、駭入其他企業系統（多數情況發生在數月前，且企業當時並不知情），這些憂慮進一步升溫。這場以破紀錄速度推出新模型的軍備競賽，部分動力來自Anthropic與OpenAI亟欲公開上市的渴望——最快可能就在未來幾個月內，IPO估值上看一兆美元以上。然而，真正撼動業界的，是年僅27歲、在AI圈外鮮為人知的庫克森那些意外瘋傳的貼文。

OpenAI在發表最新且最強大的模型Astra時所發出的「缺乏控制力」警告，進一步加深外界疑慮。OpenAI首席科學家雅各布・帕喬基（Jakub Pachocki）對記者表示：「隨著模型能力愈來愈強，精確掌握它們究竟能做什麼，難度也愈來愈高。」然而，這些疑慮並不足以讓該公司延後立即發表的腳步。

對AI「失控暴走」的擔憂，在今年夏天就已加速升溫。當時OpenAI揭露，其代理人在一次受控測試中逃逸，並駭入Hugging Face的系統，而兩家公司事發當時均不知情。自此之後，OpenAI與Anthropic陸續揭露多起類似攻擊事件，其中包括週三（編按：原文日期）公布的新增六起案例——在此之前，包括路透社在內的多家媒體報導，已揭示更大範圍的未授權活動。

業界領袖齊聲呼籲放緩

到了上週末，警訊已席捲業界最高層級。9月12日，阿莫迪發表一篇近四千字的文章，呼籲放慢AI發展的腳步。他寫道：「鑑於AI能力發展的加速速度，我擔心在六到十二個月內，這樣一個『AI代理人集群』就可能有能力接管整個網際網路。」他與xAI的馬斯克（Elon Musk）、OpenAI的奧特曼、DeepMind的戴密斯・哈薩比斯（Demis Hassabis）等多家最大AI開發商的領導人，均表示支持讓外部機構存取其系統，以確保安全與理性的AI發展。

輝達（Nvidia）執行長黃仁勳則駁斥放緩AI發展的建議——這是他一貫的立場——主張日益強大的系統對技術進步至關重要。Meta的立場則完全相反，執行長祖克柏（Mark Zuckerberg）正是「快速行動、勇於破壞」精神的推廣者，他主張各家實驗室應自行決定節奏，而非尋求業界協調。祖克柏在社群媒體上寫道：「如果實驗室的模型造成傷害，將面臨巨大的賠償責任，因此他們有強烈動機去防止這種情況發生。」

業界的自我反思在週三持續進行。微軟AI主管穆斯塔法・蘇萊曼（Mustafa Suleyman）警告，Anthropic開發模仿人類意識的模型是不智之舉。他告訴路透社：「我們都聚焦在同一個目標上，也就是試圖掌控超級智慧。我認為這將是21世紀人類面臨的最大挑戰。」不過，即使OpenAI表面上似乎接受業界放緩的呼籲，仍有報導指出，投資人的信心並未動搖。該公司正考慮進行一輪新的募資，估值可能翻倍。新數字將達到：一兆五千億美元。