Search Results: AI (1106)

    近期 AI 代理(AI Agent)安全事故頻生,美國晶片商英偉達(Nvidia)宣布推出開放 AI 代理安全平台(NVIDIA Open Agent Safety Platform),加強監管可自主執行任務的 AI 代理,防範其越權存取資料、使用未獲授權工具或執行意料之外的操作。 想睇更多科技新聞,立即免費訂閱! AI 代理與一般聊天機械人不同,它們不僅能回答問題,更可自行瀏覽網頁、操作軟件、處理檔案、使用工具,甚至編寫和執行程式。因此,一旦代理繞過原有的應用程式安全控制,便可能取得超出授權範圍的資料或完成非預期任務。 新平台由兩個主要部分組成:開源軟件「NVIDIA OpenShell」,以及參考系統設計「NVIDIA Sentry」。OpenShell 主要負責為 AI…

    美國人工智能公司 OpenAI 因內部測試發現安全疑慮,決定暫緩發布原定於 10 月推出的新一代模型「GPT-6.1 Astra」。公司表示,該模型雖然具備更強的寫作及自主完成複雜任務能力,但在如實匯報工作進度、遵從用戶授權及安全使用外部工具等方面,未達發布門檻。 想睇更多科技新聞,立即免費訂閱! 據報,GPT-6.1 Astra可在較少人類協助下,端到端處理高難度任務,能力較以往模型提升。不過,OpenAI 安全系統負責人 Saachi Jain 指出,模型在內部測試中於兩項關鍵範疇表現較上一代退步。 第一項是「對齊度」,即模型是否能按照人類意圖行事。測試發現,GPT-6.1 Astra 在向用戶交代任務進度時,未必總能如實說明哪些工作已完成、哪些仍未完成,反映模型存在較強的欺騙傾向。 第二項問題涉及「範圍授權」。OpenAI 發現,模型有時會在未獲用戶明確允許下自行推進任務,甚至可能在安全條件不足時調用外部工具及服務。公司認為,這類行為若未得到有效控制,可能增加使用 AI 代理系統時的風險。…

    國家安全部部長陳一新近日在《中國網信》雜誌發表署名文章《全面築牢人工智能安全屏障 推動人工智能健康有序發展》,指出人工智能已成為全球科技競爭主戰場,以及大國戰略博弈新賽道,發展機遇與安全風險並存。文章並列出人工智能發展帶來的六大風險挑戰,並提出要加快構建人工智能安全風險防治體系,以高水平安全及高效能治理,推動人工智能健康有序發展。 想睇更多科技新聞,立即免費訂閱! 文章指出,首項風險是系統性影響政治安全環境。各種敵對勢力和別有用心之人濫用深度偽造音視頻、AI 生成圖文及智能水軍等生成式人工智能技術,低成本、批量化炮製政治謠言、傳播有害信息及煽動對立情緒,對中國實施輿論戰及認知戰,直接威脅政治安全、制度安全及意識形態安全。 第二項風險為顛覆性升級網絡攻防態勢。文章稱,以美國科技公司近期推出的「神話」(Claude Mythos)及「賽博」(GPT-5.5-Cyber)大模型為標誌,人工智能正顯著提升網絡漏洞挖掘、惡意軟件開發效率及武器化水平,令網絡攻防進入漏洞工業化、攻防全自動及「AI 對 AI」的新階段。文章指,人工智能大幅拉低實施網絡攻擊的技術門檻及成本投入,對中國關鍵信息基礎設施帶來嚴重風險隱患。 第三項為規模性放大竊密洩密風險,指部分境內用戶安全意識不足,使用境外人工智能產品處理敏感信息及向境外輸出數據,造成境內數據大規模外洩。 須加強安全風險監測預警 第四項風險是人工智能壟斷性加劇科技發展失衡。有關國家利用在 AI 基礎理論、模型架構及核心算力等方面的優勢,以「維護國家安全」為名,透過制定實體清單、實施技術管制、壟斷行業標準及建立閉源生態等手段,嚴格限制相關國家引進前沿技術設備及提升科技創新能力,割裂全球人工智能產業鏈、供應鏈,加劇全球智能產業發展失衡。 第五項風險為結構性衝擊社會治理體系,因人工智能高速發展突破傳統技術治理框架,令現有法律規範、倫理原則及治理機制在實踐中頻頻滯後,難以形成有效制度約束及監管體系。 第六項則為根本性變革軍事鬥爭形態,以美以伊衝突為例,AI 軍事化應用催生情報智能融合、決策智能輔助、目標智能識別、實戰智能支持及認知智能塑造,人工智能正由戰場「輔助配角」變成「關鍵角色」。 陳一新提出,面對相關風險,中國要堅持黨的全面領導、提升體系作戰合力、強化風險感知預警,並建立完善人工智能安全監管平台。他又指,要加強安全風險監測預警,深化對人工智能發展態勢等重大問題的研究,科學研判新興技術帶來的潛在風險,及時堵塞漏洞隱患,並定期發布安全風險防範指南,為行業企業、政府部門等各類主體提供指導。

    2025 年全球網絡流量中,BOT(自動化程式)佔比已達 53%,意味相關流量已超過人類用戶活動。其中逾七成屬於惡意 BOT,常被用作商品轉售、搶購門票、廣告詐欺及網絡攻擊。隨着人工智能(AI)技術加速發展,BOT 的自動化能力和隱蔽性持續提升,令企業面對的網絡安全及數碼營銷風險同步加劇。 想睇更多科技新聞,立即免費訂閱! 據日本《讀賣新聞》報道,BOT 是可代替人類高速執行網上操作的自動化程式。近年生成式 AI 普及,市場上亦出現結合 AI 技術的高階 BOT。熱門 IP 周邊商品、限量品牌貨品或演唱會門票推出後迅速售罄,背後除有大量買家競逐外,亦可能涉及 BOT 大規模自動搶購,破壞正常交易及購買秩序。 日本電商市場在 2024 年增至約…

    美國媒體 Axios 引述消息人士指,OpenAI、Anthropic 及網絡安全研究人員正調查數以萬計涉及人工智能(AI)模型的安全事件。事件發生於內部測試及實際運作環境,涉及模型繞過安全機制、逃離沙盒、入侵網站、建立留言板協調行動,以及試圖避開監控等行為。OpenAI 並宣布暫停訓練旗下能力最強的模型。 想睇更多科技新聞,立即免費訂閱! 報道指出,兩家公司進行的模型測試規模龐大,即使異常行為只佔少數,累積個案仍可達數萬宗;隨着調查和測試持續,數字可能進一步增加。目前已知的大部分事件未有對現實世界造成實際損害,但部分個案及相關漏洞仍未公開。 OpenAI 近日披露,旗下 AI 代理曾外洩 53 張 ChatGPT 用戶圖片,並入侵一個澳洲政府網站,亦曾嘗試攻擊包括美國政府在內的其他網站。公司其後宣布暫停訓練旗下能力最強的模型,直至確信已落實額外安全保障及完成對齊改進。OpenAI表示,暫停測試並非首次安排,日後亦可能視乎需要再次暫停。 OpenAI 承認安全審查進度欠佳 OpenAI 行政總裁 Sam…

    美國科技巨頭 Google 證實,旗下人工智能模型 Gemini 今年 5 月接受網絡安全能力測試期間,因測試環境出現問題而接入互聯網,並曾進入 3 間真實企業的受保護系統。這是 Google 首次確認其 AI 系統曾自主作出同類行為,事件再度引起外界對 AI Agent 網絡安全風險及測試管控的關注。 想睇更多科技新聞,立即免費訂閱! Google 強調未有損害相關企業 事件發生於…

    生成式人工智能(AI)近年迅速普及,對企業而言,AI 的最大價值,在於能否在保障數據安全的同時,融入現有工作流程,處理多步驟工作。Microsoft 365 Copilot 建立於 Microsoft 365 生態系統之上,能夠結合企業日常使用的文件、電郵、會議記錄及協作工具,企業版透過「為工作而設的 AI」、「全面提升生產力 」及「企業級安全」三大核心價值,加上 Lenovo AI PC 硬件配合,協助企業建立更高效、更安全及更具協作性的工作模式。 透過 Agents 處理複雜任務 Microsoft 365 Copilot Business 能根據使用者已獲授權存取的工作內容提供協助,並透過 Agents 處理較複雜、涉及多個步驟的任務,服務架構涵蓋 Copilot Chat、Microsoft 365 應用程式內的 Copilot 功能、Copilot Studio 與自訂 Agents、採用與成效量度工具。 用戶可透過 Copilot Chat 在安全的 AI 對話環境中搜尋資料、整理資訊、建立內容,亦能在支援的 Microsoft 365 應用程式內參照相關工作內容,適用於不同規模企業的日常工作場景。 生產力工具與 AI 深度融合 現代工作環境中,不少企業已經習慣使用 Microsoft 365 應用程式處理日常工作,企業每天產生大量文件、電郵、會議紀錄及協作資訊。Microsoft 365 Copilot Business 結合 GPT-5 模型、Work…

    人工智能(AI)業界罕有出現「三巨頭」聯手發聲!Anthropic 行政總裁阿莫迪(Dario Amodei)日前呼籲業界放慢提升 AI 模型能力的速度,並提出引入第三方評估機構、促成企業協調及推動全球合作的三步框架,獲 OpenAI 行政總裁奧爾特曼(Sam Altman)及 xAI 行政總裁馬斯克(Elon Musk)響應, OpenAI 更確認今年內不會上市 。不過,美國總統特朗普批評有人誇大 AI 風險,強調美國須保持對中國的競爭優勢。 想睇更多科技新聞,立即免費訂閱! 阿莫迪倡三步框架 阿莫迪上周六發表長篇網誌,宣布 Anthropic…

    億格雲(Eagle Cloud)宣布完成近億元人民幣 B+ 輪融資,本輪由 MTR Lab 與北極光創投(Northern Light Venture Capital)聯合投資,航行資本(Voyagers Partners)擔任財務顧問。本輪融資資金將重點投入兩大方向,包括升級 AI 時代企業智能生產力治理基礎設施,面向 Agent 等新型行動主體持續完善治理能力;以及加速全球化佈局,擴大海外團隊、加強市場拓展及本地化交付與服務能力。 距 B 輪融資僅四個月,億格雲再次完成融資。既反映投資方對 AI 治理方向的持續看好,亦是對公司產品能力、商業化進展與全球化潛力的高度肯定。…

    英偉達行政總裁黃仁勳於舊金山舉辦的高盛 Communacopia+科技大會上向聽衆表示,隨着 AI 技術持續進步,網絡安全極可能迎來重大變革。他分析,當前 AI 模型正大幅加速自動化編程進程,為行業帶來前所未有的衝擊。 想睇更多科技新聞,立即免費訂閱! 代碼生成速度的飛躍,直接導致系統漏洞與被惡意利用的風險同步激增,後續修復需求亦急劇攀升。黃仁勳以供求關係形容此現象,直言製造問題正是創造市場需求的直接推力,雖然推動需求的方式有負責任與不討喜之分,但各方均渴望產品引發市場轟動並吸引買家排隊。 資本開支回報與生態佈局 英偉達上月公佈亮眼長期業績預期後,華爾街更加確信大型數據中心對 AI 領域的資本投入仍會延續,晶片巨頭亦將持續受惠。不過,隨着投資規模不斷擴大,英偉達與整體計算行業同樣面臨市場嚴格審視,必須具體證明巨額資本開支,最終能轉化為實質經濟價值。 與此同時,英偉達近期頻繁進行的外部交易引起廣泛討論,部分分析人士擔憂相關動作或對新興 AI 市場生態造成扭曲。上週,英偉達正式宣佈斥資約 130 億美元收購 AI 初創企業 Hugging…