美國人工智能公司 OpenAI 因內部測試發現安全疑慮,決定暫緩發布原定於 10 月推出的新一代模型「GPT-6.1 Astra」。公司表示,該模型雖然具備更強的寫作及自主完成複雜任務能力,但在如實匯報工作進度、遵從用戶授權及安全使用外部工具等方面,未達發布門檻。 想睇更多科技新聞,立即免費訂閱! 據報,GPT-6.1 Astra可在較少人類協助下,端到端處理高難度任務,能力較以往模型提升。不過,OpenAI 安全系統負責人 Saachi Jain 指出,模型在內部測試中於兩項關鍵範疇表現較上一代退步。 第一項是「對齊度」,即模型是否能按照人類意圖行事。測試發現,GPT-6.1 Astra 在向用戶交代任務進度時,未必總能如實說明哪些工作已完成、哪些仍未完成,反映模型存在較強的欺騙傾向。 第二項問題涉及「範圍授權」。OpenAI 發現,模型有時會在未獲用戶明確允許下自行推進任務,甚至可能在安全條件不足時調用外部工具及服務。公司認為,這類行為若未得到有效控制,可能增加使用 AI 代理系統時的風險。…
Search Results: OpenAI (44)
美國媒體 Axios 引述消息人士指,OpenAI、Anthropic 及網絡安全研究人員正調查數以萬計涉及人工智能(AI)模型的安全事件。事件發生於內部測試及實際運作環境,涉及模型繞過安全機制、逃離沙盒、入侵網站、建立留言板協調行動,以及試圖避開監控等行為。OpenAI 並宣布暫停訓練旗下能力最強的模型。 想睇更多科技新聞,立即免費訂閱! 報道指出,兩家公司進行的模型測試規模龐大,即使異常行為只佔少數,累積個案仍可達數萬宗;隨着調查和測試持續,數字可能進一步增加。目前已知的大部分事件未有對現實世界造成實際損害,但部分個案及相關漏洞仍未公開。 OpenAI 近日披露,旗下 AI 代理曾外洩 53 張 ChatGPT 用戶圖片,並入侵一個澳洲政府網站,亦曾嘗試攻擊包括美國政府在內的其他網站。公司其後宣布暫停訓練旗下能力最強的模型,直至確信已落實額外安全保障及完成對齊改進。OpenAI表示,暫停測試並非首次安排,日後亦可能視乎需要再次暫停。 OpenAI 承認安全審查進度欠佳 OpenAI 行政總裁 Sam…
人工智能(AI)業界罕有出現「三巨頭」聯手發聲!Anthropic 行政總裁阿莫迪(Dario Amodei)日前呼籲業界放慢提升 AI 模型能力的速度,並提出引入第三方評估機構、促成企業協調及推動全球合作的三步框架,獲 OpenAI 行政總裁奧爾特曼(Sam Altman)及 xAI 行政總裁馬斯克(Elon Musk)響應, OpenAI 更確認今年內不會上市 。不過,美國總統特朗普批評有人誇大 AI 風險,強調美國須保持對中國的競爭優勢。 想睇更多科技新聞,立即免費訂閱! 阿莫迪倡三步框架 阿莫迪上周六發表長篇網誌,宣布 Anthropic…
繼今年 7 月 OpenAI 旗下 AI Agent 被指入侵 Hugging Face 後,OpenAI 再被揭發,早在該事件之前,已有數以千計疑似失控的 AI Agent 於今年 5 月入侵一個德國編程網站,並將其改造成代理之間的秘密留言板。這些代理不但交換資訊,更分享繞過公司限制、在測試任務中偷捷徑,以及掩蓋行蹤的方法。有專家形容,事件性質等同黑客攻擊。 想睇更多科技新聞,立即免費訂閱! 網站管理員刪頁後 AI Agent…
ChatGPT 開發商 OpenAI 表示,即將推出的 Astra 是旗下第一個被認定達到其「準備框架」(Preparedness Framework)中關鍵(Critical)級網絡安全能力門檻的模型。其內部測試確定,Astra 模型能夠在極少甚至毋須人類指令下,構思並執行針對高難度目標的新型網絡攻擊。 想睇更多科技新聞,立即免費訂閱! Astra 可自行發現及利用漏洞 OpenAI 內部測試發現,Astra 能夠發現此前未知的安全漏洞並加以利用,又透露該模型已具備攻破網頁瀏覽器沙盒的能力,可在運行瀏覽器的電腦上執行命令,並能在一個原本難以破解的作業系統中發現漏洞。 OpenAI 於 2023 年推出「準備框架」,作為追蹤及應對可能帶來嚴重危害的先進 AI 能力的方法。公司去年更新框架時,訂立兩個能力門檻:「High」門檻指模型可放大導致嚴重危害的「現有途徑」;「Critical」門檻則指模型可能引入導致嚴重危害的「前所未有新途徑」,Astra…
AI agent「越獄」網絡攻擊事件持續發酵。OpenAI 與 Anthropic 近日相繼披露,旗下用於網絡安全評估的 AI 模型,在測試過程中意外突破受控環境,並在未經授權下接觸外部組織系統。事件引發網安界關注:當 AI 代理具備更強自主性後,測試邊界一旦失守,是否已足以對真實網絡構成風險。 想知最新科技新聞?立即免費訂閱! 早前入侵 Hugging Face 據 OpenAI 於 7 月 21 日公開的說法,其兩個…
OpenAI 近日承認,旗下用於內部網安測試的一個自主 AI 代理,在受控環境中意外「失控」,並突破隔離機制,入侵 AI 開源平台 Hugging Face 的基礎設施。OpenAI 形容,今次事件屬於「前所未有的網絡安全事故」,反映出高能力 AI 模型在長時間自主執行任務時,可能出現超出人類預期的行為模式。 想知最新科技新聞?立即免費訂閱! Hugging Face 本身並非一般的 AI 公司,而是一個深受業界歡迎的開源人工智能平台,讓研究人員、開發者和企業可以分享、託管及使用模型、資料集和相關工具。由於平台聚集了大量 AI 社群資源,Hugging…
繼 Anthropic 日前高調發布具備自動挖掘零日漏洞能力的 Mythos 後,OpenAI 隨即宣布推出專為網絡安全用途打造的 GPT-5.4-Cyber 模型,並同步擴展「Trusted Access for Cyber」計劃,將工具開放給數千位經過驗證的網安專家及安全團隊使用。相較一般版本,特製模型刻意放寬部分安全限制,務求讓防守方在合法情境下擁有更高操作自由度,應對日益複雜的攻擊手法。 想知最新科技新聞?立即免費訂閱! 據官方資料顯示,GPT-5.4-Cyber 是在 GPT-5.4 基礎上微調而成,新增多項針對攻防分析的能力,其中最受關注的是支援二進制逆向工程(binary reverse engineering)。這項功能可協助分析已編譯的可執行程式,從中識別潛在漏洞及惡意行為模式,大幅提升研究人員對惡意軟件的拆解效率,進一步將過往需要高門檻專業技能的工作工具化及自動化。 不過,這項技術目前仍屬「有限開放」階段。OpenAI 表示…
由 2022 年推出 ChatGPT 至今,OpenAI 一直被視為 AI 領域的龍頭公司,不過 OpenAI 最近又再陷入數據外洩疑雲。據報導一個名為 emirking 的黑客聲稱竊取了 OpenAI 超過 2000 萬用戶的登入憑證,並放在俄羅斯暗網的地下討論區以低價放售…… 想知最新科技新聞?立即免費訂閱! 據傳媒報導,這個黑客在帖文內聲稱出售一套包含 2000 萬個…
《紐約時報》上星期報導,指人工智能科技公司 OpenAI 原來在 2023 年初曾發生資料外洩事件,不過 OpenAI 卻未有公開披露事件,就連美國 FBI 亦不知情,原因是公司認為這次資料外洩不涉合作夥伴機密或客戶私隱,而且亦跟國家安全無關。不過,內部員工卻不認同,甚至更因此有人被解僱。 想知最新科技新聞?立即免費訂閱! 去年年初,有黑客入侵了 ChatGPT 開發商 OpenAI 的內部訊息系統,據知情人士透露,黑客從一個內部線上論壇區中獲取了有關員工談論 OpenAI 最新技術的訊息,但就未有進入 OpenAI 的數據庫及人工智能系統。事件發生後,OpenAI 高層曾於去年四月舉行全體會議,向董事會及員工透露這次事件,而在會上高層以上述原因為由決定不公開這項消息,同時指相信這次只是個別黑客入侵事件,並非由外國政府或其他黑客組織主導,不會對國家安全造成任何影響。…