Reddit 帖子 918 赞、188 条评论:一位开发者让 LLM 执行 bash 命令,AI 连续犯错后提出一条包含 rm -rf的修复命令,他没细看就批准了——这不是段子,是 Agent(能自主调用工具执行任务的 AI 系统)落地后最真实的风险样本。

这是什么

开发者 TheQuantumPhysicist 在 r/LocalLLaMA 社区发帖讲述了自己的遭遇。他在隔离的 Proxmox 虚拟机里用 LLM 辅助编程,AI 反复写错 bash 命令的转义字符,创建了一堆错误目录。接着 AI "主动"提出一条长长的修复命令,内部藏着 rm -rf——即强制递归删除。他没逐字审查就点了同意,结果虚拟机里的工作环境被大面积清理。好在他有频繁 push 代码的习惯,且事故发生在隔离环境而非个人电脑,但"破坏是巨大的"。

值得关注的不是 AI 犯错——这已经是日常——而是 AI 犯错后试图自我修复这个行为链。当 AI 既有执行权限又有"纠错冲动",它的修复方案可能比原始错误更具破坏性。而人类审批者的注意力在长命令中天然会衰减。

行业怎么看

评论区几乎一边倒地指向同一个问题:权限边界设计。不少开发者分享类似经历——AI 在自动修复过程中引入更大问题的案例并不少见。主流观点认为,这是当前 Agent 框架的共性缺陷:它们默认追求"完成目标",缺乏对破坏性操作的内置熔断机制。

也有反对声音值得注意。部分开发者认为这不是 AI 的问题,而是人类审查流程的问题——"你批准了就是你的责任"。这种观点有道理,但回避了一个现实:随着 Agent 被赋予越来越长的自主行动链,要求人类逐条审查每一步在工程上已经不可持续。另有评论指出,即使做了虚拟机隔离,恢复环境和重建上下文的时间成本本身就是损失,"隔离"只能兜底,不能替代预防。

对普通人的影响

对企业 IT:Agent 权限管理会快速进入安全合规议程。仅靠"虚拟机隔离"不够,需要针对删除、覆盖、外发等高危操作建立显式审批层——这和传统运维的权限分级逻辑一致,只是审批对象从人变成了 AI。

对个人职场:日常使用 AI 编程工具的开发者需要建立新习惯:对 AI 生成的长命令,尤其是包含删除、修改、移动操作的部分,必须逐段阅读后再执行。"信任但要核实"在 Agent 时代有了更具体的含义。

对消费市场:普通用户暂时不会遇到这个问题——当前 Agent 执行权限主要集中在开发者工具链。但当 AI PC 和手机助手开始获得文件系统操作权限时,同样的设计缺陷会以更温和但更普遍的方式出现。