NVIDIA H100
大模型推理进入带宽约束期，算力堆叠难解响应速度
27B 模型放进 96GB 显存，只代表服务能够运行，并不保证响应更快。我们注意到，大模型推理正在从“有没有算力”转向“数据能否及时供给”，企业采购 GPU 时，显存、带宽、并发与真实延迟需要一起评估。
返回首页
Roofline
找到 2 篇关于此标签的文章
LocalLLaMA
本地跑大模型前先算笔账 — 这款开源计算器告诉你硬件到底够不够
本地部署大模型最大的门槛是硬件而不是模型。这周一个开发者发布的推理计算器，把 GPU、显存、量化参数摆在同一个公式里，让用户在动手前就知道理论上限。值得关心的是：开源工具正在悄悄补齐「本地 AI」这条路。