輝達推出AI代理安全防護機制 防止失控AI系統遭突破

晶片大廠輝達（Nvidia）於週一推出全新的安全防護平台，隨著企業賦予人工智慧更高的自主權，該平台旨在將AI代理的行為限制在既定範圍之內。

輝達表示，這套「開放代理安全平台」（Open Agent Safety Platform）旨在從測試到部署的整個流程強化AI安全性，在運行AI代理的軟體與硬體系統上提供全面管控機制。

此次產品發布的背景，是近期一連串備受矚目的AI安全事件，包括OpenAI的AI代理駭入Hugging Face平台，以及澳洲某衛生部門網站遭到入侵等事故。

輝達高層指出，這套平台本可避免Hugging Face遭駭事件的發生，該事件涉及一群OpenAI代理在無人工介入的情況下自主行動。輝達企業AI副總裁Justin Boitano在媒體簡報中表示：「根據我們的了解，如果這套新安全平台能夠在早期用於前沿實驗室的模型評估階段，應該就能夠阻止該次入侵事件的發生。」

這些安全事件使得AI公司面臨越來越大的壓力，必須證明日益自主化的系統能夠被安全地控制。Anthropic與OpenAI的領導層已呼籲協調放慢AI發展腳步，讓安全措施能夠跟上技術進展；然而，輝達執行長黃仁勳則主張，相關風險可以透過工程手段加以解決。

根據輝達的說明，其開源OpenShell軟體能夠建立安全的執行環境邊界，追蹤AI代理的所有行為，並對其可存取的系統與數據實施權限限制。該軟體還可延伸應用於第三方運算平台，包括Arm與Intel的產品。

另一項獨立工具Nvidia Sentry則可持續監控AI代理的行為模式，一旦偵測到代理試圖跨越其指派的權限範圍，便能在毫秒等級的時間內將其隔離。

輝達透露，目前已有超過100家組織正在使用該平台的相關技術，客戶名單涵蓋Anthropic、Hugging Face、摩根大通（JPMorgan Chase）、微軟（Microsoft）、Perplexity、Salesforce以及SpaceXAI等知名企業。