这是什么
一个 12%、28 分钟的事故复盘,这周在中文技术社区流传:某线上 AI 对话推理接口在高峰期突发故障。我们注意到,根因不在模型本身,而在最基础的工程防护没做。
事故复盘显示,异步任务队列没有设置最大长度,流量突增时任务无限堆积,模型进程被持续抢占内存,最终耗尽实例资源。修复方法很传统:加上队列上限、任务超时自动销毁、CPU/内存阈值告警。这不是新发明,而是分布式系统领域十几年前就讨论过的基本功。
行业怎么看
支持派认为,这恰恰说明 AI 落地进入深水区——大家开始关心生产稳定性而非 demo 效果,是行业成熟的标志。在我们看来,越来越多的团队把 AI 服务当作普通的资源密集型后端对待,补齐限流、熔断、扩缩容这些 SRE(站点可靠性工程)基础课,是正确方向。
反对派的声音同样值得听。有资深后端工程师在评论区反问,「这不就是 Web 服务上线第一课吗?」——当 AI 公司还在补传统后端的基本功时,整个行业距离真正可大规模商用还有距离。更现实的担忧是:不少中小公司为抢「上线 AI 功能」的窗口,跳过压测和容量评估就直接对外发布,故障只是时间问题。
对普通人的影响
对企业 IT:把 AI 模块当普通资源密集型服务对待,容量评估、限流、熔断必须写入上线 checklist,不能再以「还在迭代」为由跳过。
对个人职场:「AI 工程师」的岗位画像正在改写——模型调参只是一部分,让 AI 服务在高峰期不崩,可能比选哪个基座模型更能决定商业结果。
对消费市场:接下来一段时间,用户会越来越频繁地看到「服务繁忙,请稍后重试」这类提示,这不是 AI 能力不行,而是工程水位还没跟上。