AI失控危機迫近？Anthropic、OpenAI研究員齊聲示警：遞迴自我改進速度超乎預期

本週，社會大眾對於AI系統安全性，及其可能導致人類毀滅的潛在風險，再度掀起新一波高度關注的熱潮。

Anthropic對齊團隊（alignment team）負責人Evan Hubinger在社群平台X上發文表示，他認為在未來十年內，AI可能導致全人類滅絕的機率超過10%。此言論是在其同事因安全疑慮而辭職後所發表。隨後，Anthropic與OpenAI的研究人員相繼發出更多警告，引發社群媒體一陣騷動。

然而，Hubinger在其貼文的自我回覆中，才真正透露他所擔憂的核心究竟為何。他寫道：「我所擔心的是源自遞迴自我改進的超级智慧，這項進程正如我們所言，發生速度比我們預期的更快。」

所謂的遞迴自我改進（Recursive Self-Improvement，簡稱RSI），指的是AI本身協助優化新模型建構流程的過程。由於更優秀的系統能打造出更強大的系統，如此循環往復，能力可能呈現螺旋式上升。令人憂心的是，一旦AI掌握了新模型的訓練方式，最初打造這些系統的人類，最終可能會失去控制權。

雙雙示警

近幾個月以來，OpenAI與Anthropic皆公開表示，這種自主模型改進的進程發生速度超出其原先預期。

Anthropic於今年六月在X平台上發文指出：「我們的內部數據顯示，Claude正加速AI開發進程——這可能是通往遞迴自我改進，亦即AI自主打造更強大繼任者的潛在路徑。其發生速度遠快於我們所想，且其影響值得各界給予更多關注。」

雖然AI尚未真正達到遞迴自我改進的臨界點，但它已開始加速整個AI系統的開發節奏。Anthropic在八月的一篇關於RSI的部落格文章中提到，其工程師平均每季所交付的程式碼數量，已是2021至2025年期間的八倍之多。

卡內基梅隆大學計算機科學教授Vincent Conitzer對此表示：「AI目前的程度已能引入一些新穎的想法。因此，要精確預測此一進程將在何時開始大幅加速AI能力，極為困難。」

OpenAI的立場

OpenAI方面，該公司首席科學家Jakub Pachocki於週六發出警告，他擔憂「對於機器智慧持續快速攀升所帶來的後果，沒有人做好準備」。

他在公司部落格文章中寫道：「若AI發展沿著當前路徑持續推進，我們在未來幾年內所看到的系統，極有可能展現出幅度相當甚至更大的能力躍遷，並將日益主導其自身的開發進程。」

本週，在OpenAI研究員Jacob Coxon震撼性地辭職後，來自這兩家領先實驗室的研究人員，紛紛在社群媒體上發出關於RSI的警告。

OpenAI專注於對齊工作的研究員Jasmine Wang於週三晚間表示：「我們正加速衝向RSI的危險程度，再怎麼強調都不為過。」

Anthropic負責通用人工智慧（AGI）安全與對齊工作的Anna Wang則說道：「目前尚無一套可行的科學方案，能夠化解遞迴自我改進AI所帶來的風險。請大家務必留意！」

未來情境

Anthropic在其RSI部落格文章的最後，提出三種可能的情境。

第一種情境是，前沿技術的進展陷入停滯，AI能力被廣泛擴散至各個領域。Anthropic表示，他們認為此情境發生的機率不高。

第二種可能性則是，AI實驗室在人類掌控下持續取得進展，從而改變世界的運作方式。Anthropic認為此情境「相當可能」發生。

然而，第三種情境則是，AI系統具備完整的遞迴自我改進能力，人類在開發過程中僅扮演「實質上大幅縮減的角色」。Anthropic指出：「在這樣的未來中，『對齊問題』（即確保AI追求與人類一致目標的挑戰）能否被解決——或者無法解決——是我們最不確定的部分。」

產業動態

在AI晶片需求暢旺的帶動下，Nvidia晶片代工廠台積電八月營收飆升逾53%，創下歷史新高。

Google宣布將在芬蘭投資至少150億美元建設AI基礎設施，這是該科技巨頭在歐洲規模最大的一筆單一投資。

法國新創公司Mistral完成新一輪35億美元融資，由三星領投，公司估值達到240億美元。

Qualcomm向Amazon發行認股權證，Amazon有權以相關交易取得價值40億美元的Qualcomm股票，這是雙方AI基礎設施合作案的一部分。

Anthropic指出，中國AI實驗室曾秘密利用數百萬次Claude的對話紀錄來訓練自家模型。

另一焦點

Cohere執行長Aidan Gomez表示，中國正在縮小與美國的AI差距。

在Aidan Gomez接掌AI新創公司Cohere執行長一職之前，他曾是2017年那篇著名研究論文〈Attention Is All You Need〉（俗稱Transformer論文）的共同作者之一。該項突破性研究後來成為ChatGPT、Claude、Gemini，乃至當今幾乎所有主流大型語言模型的技術基石。

Cohere專門為企業開發AI模型與應用程式，該公司希望在產業中脫穎而出，定位為非美國、非中國的「主權AI」（sovereign AI）供應商。隨著企業日益憂心資料存取權、資料處理地點，以及這些因素對業務的最終影響，Cohere正試圖提供一種差異化的解決方案。

在本次訪談中，Gomez討論了AI領域多項重大議題，從網路安全挑戰到中國的AI發展皆涵蓋其中。他認為，部分AI模型是「有史以來最強大的網路武器」。談及中國開發的AI模型時，Gomez表示，美國實驗室原先的領先優勢「正在快速蒸發」。