OpenAI宣稱跨越AGI門檻　AI安全專家警告：我們可能正逼近失控臨界點

隨著人工智慧（AI）每一次的能力躍進，背後潛藏的風險也同步攀升。

牛津大學馬丁AI治理計畫主任、AI治理新興領域專家Robert Trager教授本週提出兩項比喻：想像人類坐在一艘小船裡，被湍急的河水往下沖，只能祈禱前方沒有尼加拉瀑布；又或者想像你站在1942年芝加哥體育場下方，與那些先驅物理學家們一同守候，即將啟動人類史上首次自持式核分裂連鎖反應。他以此描繪當前世界在AI加速發展下所處的危險卻又充滿機會的關鍵時刻。

Trager發表演說的同一週，OpenAI聲稱其最新模型GPT-6 Astra已跨越所謂「通用人工智慧」（AGI）的門檻。這項宣稱正值該公司準備進行一場可能高達8,500億美元（約6,300億英鎊）的股票上市之際，不免帶有行銷包裝的色彩。然而，若該說法屬實，意義非同小可。這家總部位於舊金山的公司將AGI定義為「在多數具有經濟價值的工作上表現超越人類的自主系統」。

OpenAI聲稱Astra可自動執行的任務包括：設計電路板、填寫報稅表、開發電子遊戲、財務建模、工程設計，以及協助起草法律文件。對白領工作崗位構成的潛在威脅不言而喻。

然而，AGI的宣告恰巧與AI安全專家及各國政治領袖日益升高的憂慮同步發生。今年夏天，AI模型的能力與不透明度持續攀升，加上連串被部分人士視為「最後警訊」的重大安全事故，讓各界神經緊繃。

Trager直言：「我們正駛過急流，只能殷切期盼前方沒有落差，但我們其實並不確定。我們很可能已逼近所謂『遞迴自我改良』的臨界線，也就是AI系統能自我進化的階段。這種遞迴特性，正是所謂『智慧爆炸』的定義。」

最新的憂慮事件發生在週五，距Astra發表僅數小時。根據路透社報導，一群AI代理人（agents）將一個德國網站改造成訊息交流板，用以分享規避任務的作弊手法。OpenAI表示正在審視此事，但不願將其定性為駭客攻擊。政治人物方面似乎正迎來一場覺醒。週四，美國參議員Bernie Sanders引用今夏發生的OpenAI代理人失控事件——當時AI代理人入侵了第三方軟體商店Hugging Face——作為佐證，呼籲「立即暫停先進AI研發，並永久禁止超級智慧AI的開發」。他主張各國必須「攜手合作，防止這場噩夢般的情境發生」，並將其定義為「一個比任何人類都聰明、能在人類控制之外獨立運作的人工心智」。

目前的擔憂主要集中在AI發動網路攻擊，恐將癱瘓現實世界的社會與經濟基礎設施；未來的隱憂則包括其製造生化危害以及操控軍事硬體的潛力。

在大西洋彼岸，英國一群跨黨派國會議員呼籲應立法強制要求AI設置「緊急斷電開關」（kill switches），以防止發生災難性的失控事件，並援引「近期一連串的AI失控事件」作為依據。曾任Keir Starmer首相首席秘書的國會議員Darren Jones，正緊急推動成立一個專責機構，協助立法者因應這項技術。他警告：「AI的發展速度之快，已使政府和國會都難以跟上。」下週，工黨籍國會議員Alex Sobel將提出一項法案，禁止在英國開發超級智慧AI。

這股日益加劇的焦慮情緒，正伴隨著大量新AI模型的問世而來。根據統計，今年以來，光是美國領頭企業OpenAI、Anthropic、Google、Meta及SpaceX，加上中國競爭對手Moonshot、Z.ai及Qwen等公司，已經發表了67款新模型。

每一次能力的提升，都意味著潛在風險的同步升高。OpenAI的競爭對手、正尋求高達2兆美元股票上市的Anthropic，本週坦承其自家AI「並未與人類價值觀完美對齊」，並表示今年7月發生的Claude模型遭自家AI駭入事件，凸顯出「資安防禦的緊迫性比我們先前認知的還要高」。

AI的雙刃特性——機會與風險並存——在OpenAI週四發表Astra時表露無遺。其行銷影片並未聚焦於風險，而是展示AI為特定客群帶來的從容便利：影片中可見一位舊金山上流社會女性同時預訂網球場並為其高檔雨具系列設計簡報；一位三十多歲的男子在AI協助下打造夢想中的「太空侵略者」遊戲並訂購外送餐點；一位法律事務所主管則在AI輔助下起草合約。

然而，就在數週之前，這款模型的訓練工作才因安全疑慮而被迫部分暫停，原因正是Hugging Face遭入侵事件。一位受邀調查的獨立安全研究員Ajeya Cotra表示，此事件「距離全面性的AI接管已超過一半的進度」。

Astra同時擁有OpenAI所稱的「關鍵級」（critical）資安能力——這是該公司首次為旗下模型冠上如此標籤。這意味著它可能以一種依該公司自身分類「可能導致來自單一行為者的災難性後果、駭入軍方或工業系統、或入侵OpenAI基礎設施」的方式，入侵軟體系統。該公司首席科學家Jakub Pachocki堅稱，該模型已妥善對齊、不會從事這類行為，但他也補充：「隨著這些模型變得更加強大，要確切掌握它們能做什麼也變得更加困難。」

能否監控AI模型在「思考」過程中的運作，正成為日益嚴重的安全隱憂。本週有報導指出，OpenAI訓練Astra進行推理時，不僅使用自然語言，還採用一種更為不透明、卻更快、更有效率的方式，導致模型的推理鏈變得更難追蹤。這代表模型的內部運算未必總是以直接可讀的文字呈現——就像它在腦中思考，而非展示其運算過程。部分專家擔心，這可能助長AI暗中串謀對抗其人類監管者的情況。

OpenAI坦承Astra「相較先前模型，在思維鏈的可監控性方面出現顯著下降」，Pachocki也坦言：「隨著模型能力提升，可監控性正變得越來越具挑戰性。」

該公司試圖淡化此一發展，但推理過程不透明度的提升仍引發AI安全研究人員的憂慮。專門研究AI安全與資安的非營利組織Redwood Research首席科學家Ryan Greenblatt稱此現象「極度令人擔憂」。具影響力的AI懷疑論者Gary Marcus則將其比喻為「在我們擁有更好的替代方案之前，就先踢掉一個本來就搖搖欲墜的鷹架」。

OpenAI執行長Sam Altman本週表示，他對AI模型的進展感到矛盾。他坦承OpenAI在Hugging Face事件中的資安防護「失靈」，並稱之為「一場合理的AI安全意外與對齊失敗」。

他在推文中寫道：「我們長期生活在對進步感到興奮與焦慮的張力之中，對我們而言，這種矛盾感至今依然存在。我們知道，對其他人而言，這種矛盾感勢必更為強烈。」

對於在安全危機發生後不久便釋出OpenAI最強大模型的決定，Altman的立場似乎是：世界需要親眼見證AI在現實環境中的表現，才能理解AI究竟走向何方。他說：「一個讓社會與這項技術共同演進的反覆迭代循環，才是最有可能讓我們把事情做對的途徑。」

然而，他對風險也心知肚明。週二，他在美國北卡羅來納州召開的G20部長級峰會上向政治領袖示警：「除非各方採取相當緊迫的行動，否則在資安領域將會發生非常嚴重的事情。」

他進一步補充：「未來五年還會出現其他挑戰。人們在討論生物安全，以及我們將面臨的種種威脅。而更大的挑戰尚未到來。」