被忽视的“影子风险”
企业AI的真实风险,往往不在单个智能体的自主性上,而在于智能体与智能体之间那张无人能看清的网。
很多企业的做法是:部署一个智能体,看它跑起来,就认为治理工作完成了。但现实是,企业不会只部署一个智能体——它们部署的是一整支“舰队”。每个智能体都在调用API、调用其他智能体、伸手触碰那些从未为机器决策者设计过的应用系统。
这才是真正应该让人夜不能寐的失败模式:一个盘根错节、无人能清晰看到的系统,自然也就无人能够治理。
复杂性不是加法,是乘法
为什么系统会迅速变得不透明?答案在于复杂性的增长方式。
往系统里加第二个智能体,你增加了一条连接。加到第十个,你增加的不是十条连接,而可能是几十条——因为现在任何一个智能体都可能调用其他任何一个,而每一次调用又可能触发另一处的调用。
复杂性不随智能体数量线性增长,它随智能体之间的路径数量复利式膨胀。而没有任何一个岗位的职责,是画出这张图。
一个原本只触达一个系统的工单,现在可能在人类看到它之前,已经穿过了四个智能体。每一次交接都是一个决策点,而没有任何人批准过这些决策。
三个正在断裂的环节
问题具体在哪里断裂?
首先是权限蔓延。有人为了做个工单摘要的智能体,给它开了宽泛的API权限,因为精细划定权限范围需要额外一个冲刺周期,然后就把这事忘了。六个月后,同一个智能体有了一条通往支付系统的路径。没有人记得批准过这件事——因为确实没有人批准过。
其次是责任稀释。五个智能体共同作用于一个工作流,第四步出了问题,你问谁该负责,却发现组织的责任链条在“部署智能体”这一步就断了,从没延伸到“指定一个对人类负责的人”。
第三是可见性缺失。问安全团队一个简单的问题:哪些智能体能触达哪些系统?得到的往往是沉默。再问:三个跳转之前,是哪个智能体触发了下游的哪个动作?还是沉默。
Gartner预测,到2028年,一家普通财富500强企业将运行超过150,000个智能体,而目前只有13%的组织认为自己拥有足够的治理能力。
IDC则预测,2026年和2027年将是中国企业活跃智能体数量增速最快的两年,单年同比增长超过200%。
从“归档”到“执行”:治理需要换一套逻辑
把智能体审批、记录、放行当作检查清单来管理,是错误的本能。检查清单检查的是一个时间点,而复杂性运行在一条链上。你不能用一叠一次性审批来治理一条链,就像不能因为吃过一次蔬菜就宣布节食成功。
真正需要的是跨整条链的监督,而不仅仅是链上每一个单独的环节。
修复这件事,从身份开始。每个智能体都需要作为一个独立实体存在,而不是借用部署者身份的“影子权限”。它需要在注册表中有自己的名字,有自己的限定权限,有一个具名的人类负责人为它的行为负责。
但这远远不够。你还需要看到智能体做了什么、它在下游触发了什么、这条轨迹在实时状态下终结于何处——而不是在一份季度报告里。
然而,仅仅监督只能告诉你已经发生了什么。看着一条链,不等于控制它。执行是大多数项目跳过的环节:在违反策略的调用真正执行之前拦住它,而不是在三周后的审查中把它找出来。
一个仪表盘告诉你某个智能体五分钟前越了界,那是一个监控工具。一个在越界行为发生之前就阻止它的系统,才是治理。
复杂性不是踩刹车的理由
需要澄清的是,复杂性不是放缓的理由。真正把这件事做对的企业并没有在减速,他们在朝着“人机和谐”的方向建设——让规模和责任同步增长,而不是彼此交换。
真正的风险从来不是一个智能体在做它被设计来做的事。而是一百个智能体都在做各自被设计来做的事,在同一时刻,以没有人设计过的组合方式相互作用。
这种乘法效应,才是企业AI永远停留在试点、无法进入生产的真正原因。
(智算芯能前沿网综合)
本文由智算芯能前沿网编辑整理,转载请注明出处。
