專家教路｜AI Agent 加速落地 企業如何走出「黑盒」治理困局？
人工智能（AI）成為企業競爭的新戰場，企業共同的「Prompt」幾乎都是：AI 盡快落地。然而，當 AI 模型這個「黑盒」，進化成擁有自主決策權限的 AI 代理（AI Agent），風險亦隨之而倍增，AI 治理（AI Governance）成為高速發展下的一大隱憂。
小編邀請到兩位專家，Splunk, a Cisco Company 大灣區銷售總監 Paul Lee，以及香港大學商學院客席助理教授兼 KBQuest CEO Eric Moy，深入探討企業在 AI 治理上的迫切性與實踐方向。
AI 三大熱門應用場景 由網安防禦到客戶分析
企業現時最常見的 AI 應用，Paul 認為主要集中於三個場景，第一是 Agentic SOC，即以 AI Agent 監察及防禦網絡安全；第二是 AI 的可觀測性（Observability），例如銀行或電商的數碼交易鏈，由客戶下單到完成付款，中間橫跨手機應用程式、第三方支付 API、雲端微服務以至傳統系統；第三則是面向客戶的 AI，例如奢侈品牌和金融業的客戶經理，利用 AI 分析客戶的消費紀錄、社交媒體偏好，從而制定客制化的銷售建議。
傳統系統整合主要是將不同應用程式及資料來源連接起來，讓資訊可以流通，但 AI Agent 的不但能夠串連資訊，「其實你畀咗個權限個 AI Agent，佢可以更新資訊、做決定，所以無論系統定公司政策，管治難度都提高咗好多」，Paul 指出。
AI 代理如同員工 必須建立完整觀測系統
談及 AI Agent 的管理挑戰，Eric 以工廠生產線作比喻。他指出，傳統系統如同既定流程的流水線，每個步驟均由人員預先設計，企業只需監察流程是否按預期完成。然而，AI Agent 更像一位具備自主判斷能力的員工，面對不同資料與情境時，可能會採取不同的處理方式。
他進一步表示，傳統系統通常只會根據既定規則執行工作，例如「低於十元即可批准」等明確條件；但 AI Agent 則有機會結合不同來源的非結構化數據（Unstructured Data）作出判斷，例如參考 WhatsApp 訊息、電子郵件內容或其他未經正式定義的資料來源，從而影響定價或業務決策，令風險管理變得更具挑戰性。
Eric 認為，AI 模型本身具有一定程度的「黑盒」特性，即使現時技術發展迅速，業界對模型內部運作機制仍未能完全掌握。因此，企業除了關注 AI 應用成效外，更需要建立完善的可觀測性機制（Observability），持續監察 AI 的準確度、效能、成本及運作狀況，並以管理企業員工的思維去管理 AI。
市場對 AI 治理認知度不足
目前不少企業都急於部署 AI，惟真正建立完整治理框架的比例仍然偏低。Eric 分享指，曾接觸香港部分中小型會計師樓利用 AI 處理客戶文件歸檔工作，當中涉及大量個人資料。然而，部分企業對所使用模型的部署位置、資料流向及處理方式並不完全清楚，反映市場對 AI 管治的理解仍有待提升。享受過工作上的效能，卻往往忘記風險，Paul 指出，「代幣（token）用量暴升、數據私隱外洩，呢啲都係要『找數』」，強調企業不能等到 AI Agent 出現問題後才開始觀測，理想做法是 AI 應用和 Observability 同步部署。
兩位受訪者均認為，市場認知度是最大的隱憂。Paul 引述調查指，八成企業計劃今年會推出 AI 項目，但他估計真正落實完整治理框架的，應不足兩成。Eric 則認為，能夠將治理措施全面融入日常運作的企業，比例可能更低。不過，近月市場對相關風險的關注度明顯提升，Paul 稱不少企業開始設立 Chief AI Officer 等新職位，由合規與治理團隊共同承擔責任。
結合 Cisco 與 Splunk 優勢 由基建到全面觀測 Agent
Splunk 於 2024 年完成被 Cisco 收購，現為 Cisco 旗下公司。談及雙方整合帶來的優勢時，Eric 認為，Cisco 與 Splunk 的結合進一步強化了企業在數據收集、系統監察及可觀測性方面的能力，有助企業建立更全面的管理視野。Paul 進一步解釋，Cisco 多年來在網絡、安全、協作及 IT 基建方面累積的深厚能力 ，加上 Splunk 的強項——從不同來源收集及分析機器資料，配以業界頂級的處理速度，Cisco 與 Splunk 兩者結合，無論是系統、應用程式，還是網絡、設備，「只要係有 Log（日誌數據）嘅，我哋都可以幫你管理，甚至引伸應用到不同行業的場景」。
「可觀測性」既是 Splunk 的皇牌，亦是企業應用 AI Agent 中不能忽視的重點，Paul 建議企業先建立 AI 基礎設施監控（AI Infrastructure Monitoring），收集來自任何應用程式、數據庫、網絡以至物聯網設備的日誌數據，在基建層面發現關乎 AI 應用的異常行為；再按需要加上獨立運作的 AI Agent 監控 (AI Agent Monitoring)，全天候監察 AI Agent 的行為。
此外，Splunk 亦提供雲端及本地部署選項，讓企業按行業、資料敏感度及合規要求選擇架構，並推出 Machine Data Lake 及 Federated Search 等嶄新 Cisco Data Fabric 架構，企業可以全面監管公司所有數據。Paul 表示，在新的架構框架下，有客戶的投資成本較以往大減減少，並能對企業架構全面監控。
AI Agent 的應用速度只會越來越快，企業真正需要的，不是盲目叫停 AI，而是知道它正在做甚麼，以及在出現問題前及時介入。透過 Splunk 的日誌收集、即時分析、基礎設施監察及 AI Agent Observability，企業可以從看不見、管不到的黑盒，走向可觀測、可追蹤及可治理的 AI 環境。對於希望安全地擴展 AI、控制成本並保障客戶資料的企業而言，Splunk 不只是網絡安全工具，更是建立企業級 AI 管治的重要基礎。
