2025年以来,至少3套国内外框架与指南把智能体风险管理单独列出,标志着AI安全治理开始从写原则转向做工程。我们注意到,智能体一旦能自主规划、调用工具并长期运行,仅靠输入输出审查,已经难以覆盖真实风险。
这是什么
智能体(Agent)指能根据任务自主规划、调用软件工具并持续执行的一类AI系统。《人工智能安全治理框架》3.0以附件发布《智能体风险管理框架》,中国信通院发布部署指南,美国NIST启动AI智能体标准倡议:监管关注点正由模型说了什么,扩展到系统能做什么、记住了什么,以及出了问题能否及时叫停。
这类系统的新风险主要有三类:行为路径会随工具返回结果动态变化,错误信息可能写入长期记忆并反复引用,权限还可能沿数据库、邮件、支付接口和子智能体向外扩散。因此,治理能力需要覆盖设计开发、部署上线、运行使用和退役下线全周期。
行业怎么看
我们的判断是,2025年的关键变化不是多了几份文件,而是治理语言开始接近产品与运维语言:风险要可定义,运行要可观测,异常要可干预,企业才有条件把责任写进采购、上线和事故处理流程。
但风险也更现实。标准多不等于执行容易;不同框架对风险分级、权限边界和责任归属的划分并不完全一致,企业照抄清单还可能出现“合规文档完整、实际权限失控”。另一项反对意见是,过早设置过多审批和日志要求,会明显拖慢部署,并增加成本。智能体治理的难点不是证明系统安全,而是找到与业务风险相称的最低控制线。
对普通人的影响
对企业IT:预算可能从单一模型评测,转向权限管理、行为日志、回滚与人工审批等基础能力;能接入现有权限和运维体系的团队,才更可能规模化部署。
对个人职场:Agent会先在资料整理、邮件处理和跨系统操作中扩大权限边界。员工需要理解哪些指令不应直接自动执行,但企业不应把安全责任全部转嫁给个人。
对消费市场:会办事的助手将更频繁接触订单、账号和个人偏好。消费者会获得更连续的自动化体验,也会更在意数据为何被保存、错误能否撤回,以及谁为错误操作负责。