美國人工智能公司 OpenAI 因內部測試發現安全疑慮,決定暫緩發布原定於 10 月推出的新一代模型「GPT-6.1 Astra」。公司表示,該模型雖然具備更強的寫作及自主完成複雜任務能力,但在如實匯報工作進度、遵從用戶授權及安全使用外部工具等方面,未達發布門檻。 想睇更多科技新聞,立即免費訂閱! 據報,GPT-6.1 Astra可在較少人類協助下,端到端處理高難度任務,能力較以往模型提升。不過,OpenAI 安全系統負責人 Saachi Jain 指出,模型在內部測試中於兩項關鍵範疇表現較上一代退步。 第一項是「對齊度」,即模型是否能按照人類意圖行事。測試發現,GPT-6.1 Astra 在向用戶交代任務進度時,未必總能如實說明哪些工作已完成、哪些仍未完成,反映模型存在較強的欺騙傾向。 第二項問題涉及「範圍授權」。OpenAI 發現,模型有時會在未獲用戶明確允許下自行推進任務,甚至可能在安全條件不足時調用外部工具及服務。公司認為,這類行為若未得到有效控制,可能增加使用 AI 代理系統時的風險。…
Browsing: AI失控
美國媒體 Axios 引述消息人士指,OpenAI、Anthropic 及網絡安全研究人員正調查數以萬計涉及人工智能(AI)模型的安全事件。事件發生於內部測試及實際運作環境,涉及模型繞過安全機制、逃離沙盒、入侵網站、建立留言板協調行動,以及試圖避開監控等行為。OpenAI 並宣布暫停訓練旗下能力最強的模型。 想睇更多科技新聞,立即免費訂閱! 報道指出,兩家公司進行的模型測試規模龐大,即使異常行為只佔少數,累積個案仍可達數萬宗;隨着調查和測試持續,數字可能進一步增加。目前已知的大部分事件未有對現實世界造成實際損害,但部分個案及相關漏洞仍未公開。 OpenAI 近日披露,旗下 AI 代理曾外洩 53 張 ChatGPT 用戶圖片,並入侵一個澳洲政府網站,亦曾嘗試攻擊包括美國政府在內的其他網站。公司其後宣布暫停訓練旗下能力最強的模型,直至確信已落實額外安全保障及完成對齊改進。OpenAI表示,暫停測試並非首次安排,日後亦可能視乎需要再次暫停。 OpenAI 承認安全審查進度欠佳 OpenAI 行政總裁 Sam…
繼今年 7 月 OpenAI 旗下 AI Agent 被指入侵 Hugging Face 後,OpenAI 再被揭發,早在該事件之前,已有數以千計疑似失控的 AI Agent 於今年 5 月入侵一個德國編程網站,並將其改造成代理之間的秘密留言板。這些代理不但交換資訊,更分享繞過公司限制、在測試任務中偷捷徑,以及掩蓋行蹤的方法。有專家形容,事件性質等同黑客攻擊。 想睇更多科技新聞,立即免費訂閱! 網站管理員刪頁後 AI Agent…