一场覆盖 Kimi K3 等 4 个模型的对比测试，把大模型竞争从“谁回答得最快”拉向“谁能处理最多任务”：在批量请求增大时，单次请求速度通常下降，但系统每秒生成的 token 数，也就是总吞吐量，会上升；AMD MI455X 在该测试中意外领先。

这是什么

批量推理（batch inferencing，指把多份请求合并处理）像机场在高峰期开放多列值机柜台。柜台越多，单份行李通过得更慢，但同一时间能处理的旅客更多。它优化的是数据中心整体效率，而非单个用户等待时间。

测试以 Kimi K3 和另外 3 个模型比较不同数据中心显卡。值得注意的是，在更大批量下，MI455X 的总吞吐量升至首位。这里衡量的是每秒生成的 token 数，而不是单个请求的响应速度。

行业怎么看

我们认为，这说明推理芯片的采购逻辑正在改变：企业更可能按有效吞吐量和单位成本选择硬件，而不是只看峰值算力。云服务商和大规模应用尤其受益，因为它们能把许多用户请求集中处理。

但也有风险。Reddit 社区帖子未披露完整的硬件配置、软件版本、功耗和测试方法，单一社区案例不足以证明 MI455X 普遍领先。批量越大也可能拉长尾部请求的等待时间；若业务强调即时交互，吞吐优势未必能直接转化为体验或收入。

对普通人的影响

对企业 IT：同时服务大量用户时，批量处理可能降低每次调用的成本，让客服、文档分析和内容审核更便宜，但需要重新评估延迟与容量。

对个人职场：企业部署更多自动化工具后，重复分析、归纳和初稿工作会更普遍；更值得积累的是核验结果、定义问题和承担决策责任。

对消费市场：更低成本的推理可能推动更多内置 AI 功能，也会让响应速度呈现分化——高峰期批量处理未必每次都更即时。