AI安全｜英偉達推AI代理安全平台　已獲過百機構參與或採用

近期 AI 代理（AI Agent）安全事故頻生，美國晶片商英偉達（Nvidia）宣布推出開放 AI 代理安全平台（NVIDIA Open Agent Safety Platform），加強監管可自主執行任務的 AI 代理，防範其越權存取資料、使用未獲授權工具或執行意料之外的操作。

AI 代理與一般聊天機械人不同，它們不僅能回答問題，更可自行瀏覽網頁、操作軟件、處理檔案、使用工具，甚至編寫和執行程式。因此，一旦代理繞過原有的應用程式安全控制，便可能取得超出授權範圍的資料或完成非預期任務。

新平台由兩個主要部分組成：開源軟件「NVIDIA OpenShell」，以及參考系統設計「NVIDIA Sentry」。OpenShell 主要負責為 AI 代理設定操作界限，規定其可做及不可做的事情，並記錄代理的每項活動。企業可按自身需要，限制代理可存取的檔案、使用的工具及網絡資源，從而提升審計能力和可追蹤性。

Sentry 則負責持續監察 AI 代理的行為，若系統發現代理嘗試超出已設定的範圍，例如存取未獲批准的資料或工具，便可迅速將它停止或隔離，避免問題進一步擴大。

黃仁勳：AI安全不能只靠模型

英偉達行政總裁黃仁勳表示，要讓 AI 為社會帶來好處，必須先解決安全問題。他認為保障 AI 安全不能只依靠 AI 模型本身，還要配合軟件及硬件上的監管措施，確保 AI 代理即使能自行工作，也不能輕易繞過企業設定的規則。英偉達希望透過開放平台，集合科技公司、研究機構及公共部門，共同分享安全做法，並建立更一致的評估和監管方式。

英偉達表示，已有逾 100 個機構參與或採用相關技術，包括 Anthropic、微軟、思科、Salesforce、SAP及 Hugging Face 等。其中，Salesforce 已把相關功能整合到 Slack，讓團隊可在 Slack 內查看 AI 代理正在做甚麼，以及其操作紀錄。當 AI 代理需要額外權限時，管理人員亦可決定批准或拒絕。

SAP 則計劃把有關安全功能加入其 AI 平台，讓企業在使用 AI 處理工作時，同時加強內部監管。此外，部分機械人公司及金融機構，包括 Figure、Gecko Robotics、花旗及摩根大通，亦正與英偉達合作，研究如何把 AI 安全控制應用於機械人和金融服務。