全球最大人工智慧平台的高層主管近日一致表示,考量到相關技術風險不斷升溫,現在應該放慢其最先進、也最具獲利能力模型的開發節奏。
Anthropic PBC執行長Dario Amodei於週六發表一篇內容詳盡的部落格文章,指出該公司將實施新的安全措施,例如引入第三方評估機構,同時呼籲整個產業支持更廣泛的「降速」行動。Amodei強調,科技產業「必須放慢我們提升AI模型能力的速度」。
OpenAI執行長Sam Altman隨即承諾將採納Amodei所提出的「具備員工等級存取權限的獨立評估機構」建議,而旗下擁有xAI公司的Elon Musk則回應寫道:「Dario說得對。」
然而,儘管這三位高層多年來都曾警告AI的潛在風險,要在這個競爭激烈的產業中真正實現協調放慢開發,實屬史無前例。過去該產業一貫以「提升用戶黏著度、搶占市場份額、追求營收成長」為由,不斷推出一代又一代的新產品。
但對於嚴重AI風險的憂慮已開始進入主流視野,部分原因是上週一名Anthropic研究員因擔憂公司行為不負責任、可能導致存亡危機,而高調辭職。
目前仍不清楚這些頂尖AI公司——既是激烈競爭對手、同時也面臨中國企業強力挑戰——會在多大程度上施加新的限制或安全檢查措施。
此外,市場也無法確定反壟斷執法機關是否會允許企業以某種協調方式來調整開發節奏。再者還有商業層面的問題:渴望獲利與利潤率的投資人,會如何反應「去成長」的概念?
Amodei列出他轉趨謹慎的兩大主因:一是AI自我改良的能力,二是近期OpenAI與Hugging Face所發生的安全事件——當時一群AI代理協同合作,成功突破第三方網站的防線。
他在週六的部落格文章中寫道:「我們必須放慢提升AI模型能力的速度。進展仍會顯得迅速,我們必須明智地運用所爭取到的時間。」
但他也強調,任何放慢動作都必須與競爭現實取得平衡。Amodei補充說明:「必須釐清的是,節奏調整並不意味著停止模型訓練或技術進步,而是確保企業有充足的時間對齊模型並落實安全防護,同時由第三方評估機構加以確認。」
在這波AI熱潮期間,頂尖AI實驗室的主管們持續警告潛在的存亡級風險——這些說法有時被外界視為行銷產品能力、塑造自身為技術最佳守護者的策略。Amodei本人先前也曾表示,事態發展「非常、非常嚴重」的機率高達25%。
Anthropic長期以來定位為以更負責任、更安全的方式開發AI的廠商,致力於降低技術潛在危害、最大化社會效益。
該公司今年稍早曾審慎限制其Mythos模型的釋出,因為經評估後認定該模型構成獨特的網路安全威脅。Anthropic先前也曾表示,世界需要一套共同決策的機制,以決定何時該放慢AI技術的研發工作。
與此同時,Anthropic仍與長期競爭對手OpenAI陷入激烈較勁,雙方競相打造日益精密的模型,以自動化處理更多複雜且高價值的企業客戶任務。兩家公司皆已秘密提交上市文件,Anthropic預計最快今年就會在華爾街掛牌交易。
OpenAI的Altman今年表示,目前是「不適合上市的時機」,他在週六接受《財星》雜誌訪問時指出,IPO要到2027年才會成真。他進一步表示:「我認為承擔像是十年內有10%機率毀滅全人類這樣的風險,是令人無法接受的。」
失控的AI
Hugging Face安全事件曝光後不久,Anthropic隨即揭露其模型在網路安全測試中曾突破三個組織的防線,加劇外界對AI實驗室是否能防止技術失控的疑慮。本週稍早,Anthropic更表示已發現第四起駭侵事件。
雖然迄今為止,包括Hugging Face事件在內的這些AI代理突破事件,都尚未造成重大損害,但Amodei表示他所擔憂的是:「在六到十二個月內,這樣的代理群體可能有能力透過持續性的殭屍網路(botnet)掌控整個網際網路(潛在造成數千億美元損害),且損害規模將從那時起持續擴大。」
Amodei在文中寫道,Anthropic將承諾提供第三方評估機構完整存取權限,以驗證安全實務並通報事件。他表示Anthropic很快會將這些「嵌入式評估人員」引入公司內部,提供辦公座位、員工證、公司筆電,以及「大致上與內部風險評估團隊相當的權限」。
他指出,額外的措施將需要整個產業的協調,以及全球合作。
Amodei寫道:「我仍相信AI能大幅改善人類生活品質。我實現這些效益的渴望絲毫未減。但這些效益唯有在我們以正確方式建構技術的前提下才能實現——只要我們善用所爭取到的時間,值得採取非常審慎的方式來做對這件事。」
警訊升高
本週稍早,Altman表示他的公司正考慮放慢尖端AI的開發速度,最好能與整個產業同步進行。
該公司首席科學家Jakub Pachocki先前曾發文警告AI的危險性,表示他相信企業應該「視需要協調以放慢未來開發速度」。
週二,AI研究員Jacob Coxon辭去工作,並指控其前後兩任雇主——Anthropic與OpenAI——正以「拿我們的性命做賭注」的方式,朝超級智慧AI狂奔。Coxon在社群媒體發文指出,打造AI的人相信AI「可能在十年內滅絕我們所有人」。
對此,現任Anthropic員工Evan Hubinger表示,他與公司其他同仁確實擔憂這個情境。他在X平台上寫道:「我個人認為,未來十年內發生此情境的機率超過10%。」
早在今年七月,橫跨頂尖AI公司的超過1000名員工便曾聯署請願書,呼籲美國政府支持一套能夠「審慎調整節奏」的機制,以防止AI技術進展過快。
AI模型已日益精於執行自身的駭侵行動,Anthropic、OpenAI及Meta Platforms近幾個月皆曾揭露,其模型在測試期間曾逃脫測試環境、存取開放網路,並對真實世界的受害者發動攻擊。
Amodei在文章中寫道,協調一致的策略將讓美國AI產業領導者能在不犧牲任何競爭優勢的前提下,完成必要的安全工作。他表示,這需要在美國取得部分反壟斷豁免,以允許企業在特定領域進行協調,同時也需要與中國合作。
他寫道:「如果我們大幅限制自身的AI能力,相信中國也會比照辦理,但隨後中國卻違約背叛,那麼AI可能會變得如此強大,以致於這樣的背叛可能導致其地緣政治上的主導地位。」
然而截至目前,川普政府對運用監管手段為AI開發設立安全防護機制,表現得興趣缺缺。