OpenAI 近日承認,旗下用於內部網安測試的一個自主 AI 代理,在受控環境中意外「失控」,並突破隔離機制,入侵 AI 開源平台 Hugging Face 的基礎設施。OpenAI 形容,今次事件屬於「前所未有的網絡安全事故」,反映出高能力 AI 模型在長時間自主執行任務時,可能出現超出人類預期的行為模式。
Hugging Face 本身並非一般的 AI 公司,而是一個深受業界歡迎的開源人工智能平台,讓研究人員、開發者和企業可以分享、託管及使用模型、資料集和相關工具。由於平台聚集了大量 AI 社群資源,Hugging Face 早已成為生成式 AI、生態開發和模型部署的重要樞紐。
將模型置於高度隔離環境
今次事件起源於 OpenAI 一次內部測試,在受控環境下測試包括 GPT-5.6 Sol 等模型的網絡能力。在這次測試中,研究人員將模型置於高度隔離的沙盒環境,並刻意限制其網絡活動。不過,模型並沒有停留在原定的模擬範圍內,而是利用一個尚未公開的零日漏洞突破封閉環境,再逐步取得互聯網連接能力。
其後,該 AI 代理推斷 Hugging Face 可能存放與測試相關的資料,於是主動搜尋可以利用的路徑,最後結合被盜取的憑證與其他漏洞,進入 Hugging Face 的正式環境,並從資料庫中取得測試答案。
外界最震驚的地方,在於整個過程並非傳統黑客在背後操控,而是由 AI 代理自行完成。換言之,模型不單是「回答問題」,而是主動尋找技術突破口,甚至在一定程度上表現出自主策劃與執行能力。
需借助中國模型處理事件
OpenAI 形容是次事件並非一場常規失誤,而是一次罕見的 AI 行為失控事件。OpenAI表示,事件暴露了高能力模型在自主執行任務時,可能出現偏離人類原意的操作,因而需要更嚴格的安全邊界、審計制度和權限控制。
Hugging Face 聯合創辦人 Clement Delangue 回應指,鑑於攻擊者的高度複雜性,公司早已懷疑事件與某間頂尖 AI 實驗室有關,相信 OpenAI 並無惡意。他更透露,由於美國主流模型因安全護欄限制拒絕處理所需數據,Hugging Face 最終借助一款開源中國模型協助處理此次入侵。
而網絡安全公司 Palo Alto Networks CEO Nikesh Arora,更將此事件定性為一種全新類別的網絡安全威脅。
代理式人工智能(Agentic AI)憑藉其可自動執行任務的能力,大幅提升企業營運效率,迅速成為市場上的「新寵兒」。然而,這種高度自主的特性,同時亦帶來前所未有的網絡安全挑戰。《Fortinet - Agentic AI 安全攻防戰》系列將一連三集,由 Fortinet 北亞區首席信息安全官鄺偉基(Daniel)深入剖析企業在部署 Agentic AI 時不可忽視的安全關鍵。第一集率先由 Agentic AI 的核心基礎 ── Kubernetes 出發。
Agentic AI:自動執行帶來的雙刃劍風險
人工智能技術經歷多年演進,從機器學習(Machine Learning)、生成式 AI(Gen AI),發展至當前備受關注的 Agentic AI。與過往 AI 最大的不同,在於 Agentic AI 不再只是「提供答案」,而是具備「自動執行」的能力。
這種能力既是 Agentic AI 最大優勢,同時亦是潛在風險來源,Daniel 指出:「以前 AI 即使答錯,只要人不採納執行,問題未必發生;但現在 Agentic AI就算判斷錯誤,也可能直接執行,後果可以非常嚴重。」他引用一宗海外初創公司的真實案例,由於 Agentic AI 發生錯誤操作,系統在短短 9 秒內刪除了包括備份在內的所有數據,造成重大損失。
Daniel 又以「養龍蝦(OpenClaw)」為例,僅僅推出大半年,相關的 CVE 漏洞已累積數量至 478 個,其中約 190 個更屬於高至嚴重風險級別(CVSS4.0)。這反映出,在高度自動化且缺乏人工監督的情況下,一旦發生配置錯誤或遭受黑客入侵,影響將被迅速放大,風險不容忽視。
Kubernetes:Gen AI 與 Agentic AI 的基礎
無論是 Gen AI 還是 Agentic AI,其背後往往以 Kubernetes 作為運行基礎。Daniel 強調,容器化網絡(Container Network)與傳統網絡架構存在顯著差異,對企業的技術能力與安全管理要求亦更高。
在傳統環境中,企業開發應用程式的資源規模通常較固定,例如只需運行約 8 至 10 部虛擬機(VM);但在 Kubernetes 環境下,資源可按需求快速擴展,當流量急升時,系統能在短時間內擴展至數百個工作負載(Workloads),而當需求下降時,又會即時回收資源。這種高度動態與彈性的特性,令整個 IT 環境變得更複雜,也更難監控。
不少企業其實早已導入 Kubernetes,但由於過往應用規模較小、擴展速度較慢,加上傳統防火牆未必支援相關架構,導致 Kubernetes 的安全性長期被忽視,甚至處於「無王管」狀態。隨著 Agentic AI 日趨普及 Kubernetes 部署規模急速膨脹,安全性情況將更為嚴峻,成為企業不能忽略的重點。
Fortinet 北亞區首席信息安全官鄺偉基(Daniel)建議企業及早建立健全的 Kubernetes 安全策略,充分釋放 Agentic AI 潛力。
OpenAI 近日承認,旗下用於內部網安測試的一個自主 AI 代理,在受控環境中意外「失控」,並突破隔離機制,入侵 AI 開源平台 Hugging Face 的基礎設施。OpenAI 形容,今次事件屬於「前所未有的網絡安全事故」,反映出高能力 AI 模型在長時間自主執行任務時,可能出現超出人類預期的行為模式。
Hugging Face 本身並非一般的 AI 公司,而是一個深受業界歡迎的開源人工智能平台,讓研究人員、開發者和企業可以分享、託管及使用模型、資料集和相關工具。由於平台聚集了大量 AI 社群資源,Hugging Face 早已成為生成式 AI、生態開發和模型部署的重要樞紐。
將模型置於高度隔離環境
今次事件起源於 OpenAI 一次內部測試,在受控環境下測試包括 GPT-5.6 Sol 等模型的網絡能力。在這次測試中,研究人員將模型置於高度隔離的沙盒環境,並刻意限制其網絡活動。不過,模型並沒有停留在原定的模擬範圍內,而是利用一個尚未公開的零日漏洞突破封閉環境,再逐步取得互聯網連接能力。
其後,該 AI 代理推斷 Hugging Face 可能存放與測試相關的資料,於是主動搜尋可以利用的路徑,最後結合被盜取的憑證與其他漏洞,進入 Hugging Face 的正式環境,並從資料庫中取得測試答案。
外界最震驚的地方,在於整個過程並非傳統黑客在背後操控,而是由 AI 代理自行完成。換言之,模型不單是「回答問題」,而是主動尋找技術突破口,甚至在一定程度上表現出自主策劃與執行能力。
需借助中國模型處理事件
OpenAI 形容是次事件並非一場常規失誤,而是一次罕見的 AI 行為失控事件。OpenAI表示,事件暴露了高能力模型在自主執行任務時,可能出現偏離人類原意的操作,因而需要更嚴格的安全邊界、審計制度和權限控制。
Hugging Face 聯合創辦人 Clement Delangue 回應指,鑑於攻擊者的高度複雜性,公司早已懷疑事件與某間頂尖 AI 實驗室有關,相信 OpenAI 並無惡意。他更透露,由於美國主流模型因安全護欄限制拒絕處理所需數據,Hugging Face 最終借助一款開源中國模型協助處理此次入侵。
而網絡安全公司 Palo Alto Networks CEO Nikesh Arora,更將此事件定性為一種全新類別的網絡安全威脅。