Reddit 论坛 LocalLLaMA 板块这周出现了一个小工具：把本地跑大模型「硬件够不够」这件事，做成了一道在线数学题。输入 GPU 型号、显存、模型参数量、量化精度（把模型参数压缩到低精度以省显存的常用做法），就能算出这台机器理论上能装得下多大的模型、推理速度上限在哪。作者自评是「动手前的第零步检查」。

这是什么

这背后的方法是 Roofline 模型（屋顶线）——高性能计算领域的经典性能分析框架：先算硬件理论峰值，再判断任务受算力还是带宽限制。开发者把它搬到了 LLM 推理场景，覆盖 prefill（处理输入阶段）和 decode（逐字生成阶段）两段。需要提醒：作者明确标注「理论上限」，实际运行会有 20-40% 损耗，不能直接当 benchmark 用。

行业怎么看

我们注意到，开源社区正在悄悄补齐「本地 AI」这条路。云厂商主推 API 调用虽然省事，但企业一旦涉及数据合规或成本敏感，本地部署绕不开。这种「动手前先算账」的工具，恰恰是中小公司最缺的——一块 H100 的采购成本，可能比订阅一年 API 还贵，算不清楚账是真实痛点。

反对意见也得说：屋顶线是 1990 年代 HPC（高性能计算）的旧方法，搬到 LLM 上对 attention 这类访存密集型运算（需要频繁读写显存的操作）并不总是准。也有人主张与其算理论值，不如直接跑 benchmark（跑分测试）——但现实是很多中小团队根本没时间逐个跑一遍。

对普通人的影响

对企业 IT：「本地部署可行性评估」可以先过工具这一关，再决定要不要真买硬件，减少拍脑袋决策。

对个人职场：想自己搭本地 AI 试玩的非技术从业者有了快速参考，知道自己笔记本或台式机能不能跑，不用再被各种技术帖绕晕。

对消费市场：AI 硬件销售话术可能被这类工具「祛魅」，卖家不能再笼统说「4090 能跑所有大模型」，配置与模型适配度会变成显性比较项。