一名开发者在 Valve Steam Machine 上，以 8GB AMD 显卡和 32GB 内存运行 Qwen3.8-Flash-Next，长文本生成速度达到约每秒 17.6—17.9 个 token。我们的判断是：本地大模型的门槛正在下降，消费级设备开始具备实际使用价值，但“8GB 显卡跑大模型”仍不等于所有电脑都能复现同等体验。
这是什么
这次测试使用 Gyro S TQ1_0 量化模型，支持 128K 上下文（模型一次可处理的文本上限），并关闭视觉能力和多 token 预测（MTP，模型一次推测并生成多个 token 的加速机制）。机器配有 AMD Navi 33 8GB 显存和 32GB 内存，测试包含约 8K token 输入，并进行了三轮重复测试。
结果显示，输入处理速度约为每秒 234—242 个 token，生成速度约为每秒 17.3—19.8 个 token。输入超过 5.8 万 token 时，生成仍保持每秒 17.6—17.9 个 token，且未出现内存不足。
真正有效的改动，是把 64GB 内存预算交给推理引擎管理专家权重；其他显卡参数调整几乎没有收益。启用 MTP 后，生成速度没有提高，输入处理速度反而下降约 10%。这说明硬件指标只是起点，内存调度和软件配置同样决定体验。
行业怎么看
我们认为，这一结果释放了一个清晰信号：本地模型正在从“勉强可运行”进入“适合部分日常任务”的阶段。对经常处理文档、代码或敏感资料的人，本地部署可以减少上传数据的隐私风险，也能摆脱按量计费和联网限制。
但风险同样明确。该测试仅覆盖单一硬件、量化版本和不超过 6.1 万 token 的输入，作者也没有测试繁忙桌面环境或更复杂的加速选项；每秒 18 个 token 的生成速度，也明显低于高端云端模型。开发者还遇到参数未实际生效、SSH 会话结束后进程退出等问题，普通人安装和维护的门槛并不低。
对普通人的影响
对企业 IT：拥有旧款游戏显卡或迷你主机的企业，可重新评估本地模型作为低成本试验环境的可能。涉及客户数据、知识产权和高并发任务时，仍需评估算力、维护成本与效果差距。
对个人职场：本地运行适合文档摘要、代码辅助和资料整理等对延迟不敏感的任务。速度、模型效果与安装复杂度之间的平衡，将决定它能否成为日常助手。
对消费市场：“普通电脑运行大模型”正在从演示走向可用，但不会迅速取代云端服务。设备销售是否增长，还要看软件是否足够稳定，以及厂商能否把复杂的内存和模型配置封装起来。