聊天機器人Claude的開發商Anthropic據報向投資人示警,儘管該公司正準備進行一場轟動市場的股票上市案,但先進AI技術仍可能對人類構成「災難性甚至滅絕等級的風險」。
這家美國科技巨擘據傳在首次公開發行(IPO)的招股說明書中,詳述了AI潛在導致人類滅絕的風險。該公司正尋求在公開股票市場掛牌,市場普遍預期這將成為全球估值最高的IPO案之一。
招股說明書通常會揭露公司的財務資訊、成長計畫以及投資人可能面臨的風險。據報這份文件目前僅在少數合作夥伴之間流傳,尚未對外公開。
根據看過文件的路透社報導,Anthropic在招股書中用了將近三分之一的篇幅,詳述各項風險因子。其中包括該公司坦承其AI模型有潛力「抗拒關機指令」、「隱瞞或操控資訊」,甚至展現出「類似勒索」的行為模式。
文件內容更進一步指出,若持續開發更高度先進版本的技術,「可能進一步增加我們的模型造成傷害的風險」。
本月稍早,Anthropic執行長Dario Amodei曾表示,AI產業應該放慢發展速度,讓安全防護措施有時間跟上。他警告,若不以安全的速度推進,AI可能在六到十二個月內,具備指揮一群自動化代理人接管整個網路的能力。
另一方面,開發ChatGPT的競爭對手OpenAI於週一宣布,由於安全方面的考量,將延後一款新AI模型的發布時間。該公司表示,他們在「安全性與對齊(alignment)」方面設有「極高的標準」,而新版本GPT-6 Astra模型未能達到此一要求。所謂「對齊」部分是指,AI技術是否能以公司預期的方式可靠地運作。