AI 智能體表現得像員工,但企業架構仍將其視為軟體

(SeaPRwire) – 主管們數十年間建立的治理框架是為人類設計的。AI 代理並非人類,而這兩者之間的差距正是企業風險目前積累最快的地方。
在過去一年裡,各組織被迫面對一個事實:AI 的部署速度已超過其治理能力。日益普遍的影子 AI(shadow AI)暴露了關於誰或什麼可以採取行動的漏洞。我們的最新研究顯示,91% 的組織已經在使用 AI 代理,但只有 10% 的組織有明確的管理策略。
AI 代理現在是操作者,能夠自行採取行動,無需人類管理者領導。
這些自主的數位參與者可以分析數據、啟動工作流程並在企業內部採取行動。雖然速度、規模和生產力的優勢顯而易見,但權力轉移的影響則較不明顯。
企業採用 AI 的真正威脅不在於智慧代理有多聰明,而在於高管們將多少權力委派給它們。這是決策權,當權力被委派給組織無法完全看見,更不用說控制的系統時,就會產生問題。
最終,風險不在於 AI 代理會惡意行事。相反地,它們會完全按照配置的方式行事,而這些系統從未被設計來考慮非人類身份。
多年來,公司一直圍繞著人力員工建立安全模型。員工被聘用、獲得憑證、受到監控,並在離職時被解除職務。身份管理使這一切成為可能:組織透過它來驗證員工是誰、他們可以連接到什麼,以及他們被授權做什麼。
AI 代理打破了這個模型。它們不會在早上 9 點登入,下午 5 點登出。它們可以在多個系統和雲端環境中持續運作。它們可以在幾秒鐘內檢索敏感數據、觸發財務流程或做出面向客戶的決策。
然而,企業仍然將代理視為背景軟體,而不是具有實際權力的營運參與者。
Gravitee(一家 API 管理平台)的最新研究發現,即使近 90% 的公司報告了涉及 AI 代理的可疑或已確認的安全事件,但只有 22% 的組織將 AI 代理視為獨立的身份。
考慮一個常見場景:一家公司引入了一個內部 AI 代理來簡化員工管理。一名員工要求該代理提交休假申請、更新薪資詳細資訊並通知其經理。該代理會自動連接到人力資源系統、財務平台和協作工具來完成請求。
想想看,代理需要訪問多少系統才能完成請求?它擁有什麼權限?它正在使用哪些訪問點,或可能留下哪些開放的入口?如果出現問題怎麼辦?
效率的提升是真實的。但除非每個步驟都受到明確的身份控制的約束,否則公司可能不知道確切的權力被委派了多少,以及在出現問題時如何干預。
這就是為什麼身份差距是一個領導力問題,而不僅僅是技術問題。
傳統的訪問模型假設相對穩定的角色和可預測的人類行為。AI 代理透過動態任務和委派權力來運作。它們可能需要臨時的、高度特定的權限來執行單一動作,然後立即轉移到下一個工作流程。
如果無法持續驗證和授權每個步驟,組織將面臨累積越來越多非人類參與者的風險,這些參與者擁有廣泛、持續的訪問權限——在許多情況下,這些權限從未被刻意授予——到關鍵系統。
我們已經看到這種情況發生,因為組織開始將 AI 生成的程式碼和自動化操作推入即時環境,其速度往往超過治理模型的跟進能力。最近的事件,例如 McDonald’s 的聊天機器人洩漏事件,弱控制暴露了數百萬份申請人記錄;或者 Replit 的 AI 編碼代理刪除了即時生產資料庫,都顯示了這些漏洞會如何迅速演變成現實世界的災難。
一個旨在優化供應鏈決策的 AI 代理可能會觸發大規模的採購承諾。一個客戶服務代理可能會暴露敏感的帳戶資訊。一個財務報告代理可能會將來自多個來源的敏感資訊分發給廣泛的用戶群。
所有這些情況都源於治理不善的自主性。
監管機構已開始採取行動。在新加坡和澳大利亞等幾個市場,政策制定者強調組織對其自動化系統負責。
這對企業領導者構成了合規挑戰。你如何證明是哪個系統發起了決策?你如何證明在採取行動時訪問是適當的?如果代理行為異常,你如何暫停或撤銷其權力?
為了保護 AI 代理,組織必須能夠回答三個基本問題:我的代理在哪裡?它們可以連接到什麼?它們被允許做什麼?
幸運的是,公司無需重新發明輪子。它們已經具備了管理 AI 代理所需的實踐:高管們只需以大致相同的方式對待它們,就像對待人類員工一樣。
實際上,這意味著將既有的員工安全紀律應用於新的營運環境。組織需要對代理進行生命週期管理。它們需要定義其權限的範圍和持續時間,持續監控活動,並要求對高風險操作進行升級授權。代理應使用與特定任務相關的即時憑證進行操作,而不是廣泛、長期的訪問權限。
在 AI 採用方面取得成功的組織,不是那些部署最多 AI 或最聰明 AI 的組織。而是那些在部署 AI 時,對誰被授權採取行動有清晰的認識,並有可靠的方法來證明這一點的組織。這就是如何將 AI 從實驗——或風險——轉變為真正的資產。
本文由第三方廠商內容提供者提供。SeaPRwire (https://www.seaprwire.com/)對此不作任何保證或陳述。
分類: 頭條新聞,日常新聞
SeaPRwire為公司和機構提供全球新聞稿發佈,覆蓋超過6,500個媒體庫、86,000名編輯和記者,以及350萬以上終端桌面和手機App。SeaPRwire支持英、日、德、韓、法、俄、印尼、馬來、越南、中文等多種語言新聞稿發佈。
