智能体风险管理框架
智能体安全治理进入落地期,原则清单正在变成工程能力
中国《人工智能安全治理框架》3.0首次单列智能体风险管理,美国NIST也启动相关标准倡议。治理重点正从模型输出审查,转向工具权限、长期记忆和跨系统调用等可观测、可干预的工程能力。
找到 2 篇关于此标签的文章
中国《人工智能安全治理框架》3.0首次单列智能体风险管理,美国NIST也启动相关标准倡议。治理重点正从模型输出审查,转向工具权限、长期记忆和跨系统调用等可观测、可干预的工程能力。
一篇题为《Robust AI Security and Alignment: A Sisyphean Endeavor?》的论文,把 AI 安全与对齐放进同一个框架讨论。值得我们关心的是,它传递的判断很清楚:这不是一次性补丁,而是会长期伴随模型扩散的治理成本。