一个 27B 模型已经放进 96GB 显存，服务却没有因此变得更快：用户仍可能等很久才看到第一个 token，后续文字也可能出现得很慢。我们的判断是，大模型推理的关键矛盾正从“装不装得下”转向“数据能不能及时送到计算单元”，GPU 采购不能只看显卡数量和峰值算力。

这是什么

原文用公开规格拆解了影响推理速度的四项指标：显存容量决定模型和请求状态能否放下；显存带宽决定数据每秒能读取多少；算力决定计算单元每秒能完成多少运算；算术强度则表示每读取一字节能完成多少计算（数值运算量÷数据读取量）。

以 BF16 精度保存的 27B 模型为例，权重约占 54GB。两张 96GB GPU 看似还有余量，但 KV Cache（模型生成过程中保存的注意力键值状态）、临时工作区、运行时和并发请求也会占用显存。

在极度简化的单请求生成场景中，若每生成一个 token 都需要完整读取一次 54GB 权重，一张理论带宽为 4.0TB/s 的 GPU，单步频率上限约为每秒 74 次。这只是教学算例，不是实测速度，也未计入缓存、调度和通信损耗。

行业怎么看

我们的判断是，模型进入实际服务后，瓶颈通常不是单一硬件参数，而是硬件、数据搬运和软件调度是否匹配。增加并发可让同一份权重服务多个请求，从而摊薄读取成本；但批量增大也会增加缓存、计算和排队压力，不能简单理解为“并发翻倍，速度翻倍”。

算力宣传同样需要谨慎比较。H100 SXM 公布的 1979TFLOPS FP16/BF16 峰值包含结构化稀疏收益，按统一口径估算，稠密峰值约为 989.5TFLOPS。结构化稀疏是按固定规则将部分权重置零，需要模型与软件共同支持，峰值数字并不等于业务速度。

值得警惕的是，Roofline 一类性能模型适合定位理论上限，却不能替代真实压测。不同请求长度、注意力计算、KV Cache、跨卡通信和推理引擎实现，都可能改变最终结果。如果厂商只拿峰值算力、显存容量或单一 tok/s 指标宣传，采购方仍需追问具体模型、上下文长度和并发条件下的首 token 延迟与吞吐量。

对普通人的影响

对企业 IT：评估 AI 基础设施时，显存、带宽、并发和真实延迟需要放在同一张表中；既有算力是否足够，也取决于推理引擎能否高效管理缓存和批处理。

对个人职场：大模型响应速度将影响日常使用的连续性。工具采购可重点观察首 token 延迟、输出稳定性和高峰期表现，而不只看模型参数规模。

对消费市场：随着并发能力改善，AI 视频、搜索和办公产品的价格可能下降；但若服务瓶颈长期未解决，用户感受到的仍会是等待，而不是单纯的模型能力差距。