一名用户用 RTX 3090 运行 Swift-1.5-Qwen3.8-27B 时发现，llama.cpp 即使显示模型可容纳在显存中，仍可能只卸载 64 至 65 层到 GPU，剩余部分由 CPU（中央处理器）处理。改用 all 参数后，生成速度由每秒 60 个 token 提升至 76，说明本地模型部署的关键不只是买更大的显卡，还要校准算力分配。

这是什么

llama.cpp 是一款可在个人电脑上运行大语言模型的开源工具。参数 -ngl 用来决定把多少模型层放入 GPU 显存；按官方说明，auto 是自动分配，all 则要求全部卸载到显卡。

原帖作者认为，-1 在 Windows 版工具中代表自动判断，但实际结果显示，程序仍会因显存余量、模型大小或加载阶段判断而保留部分 CPU 层。值得注意的是，这来自单一用户案例，具体原因尚未获得项目方确认，因此不能直接视为普遍规则。

行业怎么看

这件事说明，本地模型正在从“能不能跑”进入“是否跑得高效”的阶段。对企业私有化部署而言，单看模型能否装入显存并不足以估算真实成本，CPU 与 GPU 之间的数据搬运、上下文长度和参数设置都会影响吞吐量与响应速度。

风险也很清楚：帖子中的解决方法来自经验排查，而非正式诊断。部分层留在 CPU 不一定是程序失效，自动分配也可能是在为显存波动、共享显示和其他进程保留余量。贸然强制全部卸载，遇到显存不足时可能直接失败。真正稳妥的做法，是同时记录每层加载状态、显存占用和实际速度，而不是只依赖启动时给出的建议值。

对普通人的影响

对企业 IT：采购本地模型硬件时，应把真实业务上下文下的吞吐、处理器占用和故障恢复纳入测试；显卡容量够用只是第一步。

对个人职场：本地模型处理文档时速度忽快忽慢，未必意味着电脑性能不足，也可能是分配策略与任务负载不匹配。涉及敏感资料时，本地运行仍有价值，但参数维护也需要学习成本。

对消费市场：“在家运行大模型”会继续普及，但安装门槛不会因模型开源就消失。未来更实用的本地 AI 产品，会把显卡识别、显存分配和性能调优做成默认能力，而非要求用户理解参数差异。