队列限流

AI服务高峰崩了12%用户28分钟 — 出问题的不是模型，是工程基本功

一个线上 AI 推理接口的事故复盘：12% 用户请求超时、持续 28 分钟，根因不是模型能力，而是任务队列没做长度限流这种基础工程没补上。