一名开发者在 20GB 内存、4GB 显存的旧款笔记本上运行 Qwen3.8 27B 量化模型，速度只有每秒 0.67—0.77 个 token（模型连续生成文字的单位），却完成了代码修复和游戏逆向分析。我们认为，这比一次跑分更能说明问题：本地模型正在从“能演示”进入“能干活”的阶段。

这是什么

帖子中的 Qwen3.8 27B Q4，是把模型参数压缩到较低精度后，在消费级电脑上运行。量化可以粗略理解为降低模型占用的内存和计算资源，但代价是速度、输出体积和部分任务质量。

作者使用 LM Studio 加载模型，并借助 Pi Agent、OpenCode 等工具，让模型参与代码修改、调试和反汇编工作。这里的 Agent（能自主调用工具、推进任务的 AI 程序）并不需要部署在昂贵服务器上；通过量化模型和本地工具链，它可以在离线环境中反复尝试。

行业怎么看

我们注意到，本地模型正在补足云端 API 之外的一块市场：数据不出设备、成本边界清楚、任务可以持续运行。对处理旧代码、内部工具和专业软件的团队而言，这种可控性有时比更高的生成速度更重要。

但风险同样明确。27B 模型在这台机器上的速度极慢，实际使用需要耐心；量化也可能带来代码准确率和复杂推理能力下降。更关键的是，帖子只覆盖了有限项目和个人体验，不能据此推断本地模型已能普遍替代 GPT、Claude 等云端模型。一个月后的 122B 模型即使能放进内存，也未必能在这类硬件上保持可用速度。

因此，我们更倾向于把本地模型看作云端服务的补充，而非直接替代：敏感、重复、可验证的任务适合在本地运行；需要更强推理和稳定吞吐的任务，云端仍然更合适。

对普通人的影响

对企业 IT：企业可以用本地模型处理不能离开内网的数据，或先在本地完成代码检索、调试等基础工作，再把复杂任务交给云端。不过，设备采购、模型运维和质量评估仍需要投入。

对个人职场：懂技术的员工可以借此检查旧项目、整理本地资料或搭建私人助手，但速度和效果取决于硬件；非技术用户短期内仍不必为了使用模型购买专用电脑。

对消费市场：旧电脑继续获得 AI 用途，会推动本地模型、量化工具和一体化软件的发展，但“免费替代云服务”目前更多是一种选择，而不是已经成熟的大众体验。