NVIDIA H100

大模型推理进入带宽约束期，算力堆叠难解响应速度

27B 模型放进 96GB 显存，只代表服务能够运行，并不保证响应更快。我们注意到，大模型推理正在从“有没有算力”转向“数据能否及时供给”，企业采购 GPU 时，显存、带宽、并发与真实延迟需要一起评估。