在一张仅有 16GB 显存的 AMD RX 9070 XT 上，128K 上下文的 MoE 模型仍可达到每秒 1,168 至 1,246 token 的预填速度，生成速度为每秒 57.3 至 71.6 token。这个结果说明，本地大模型的门槛正在下降，但目前更像特定配置下的工程突破，而非普遍性能保证。
这是什么
这次测试的核心是 MoE 专家卸载。MoE（混合专家模型）让模型在处理每个 token 时，只调用部分参数，以减少计算量；所谓卸载，则是把这部分参数放在显存、系统内存之间调度，配合量化、专家缓存和推测解码（用小模型提前生成候选，再由主模型校验）提高速度。
开发者使用 ExLlamaV3 和 Polystrata 等引擎，在 128K 上下文下测试了 Ornith 1.5 35B-A3B、Qwen 3.6-35B-A3B 与 Qwen 3.8-Flash-Next Coder。测试采用约 4 bit 量化，KV 缓存为 Q8，并加入 DFlash2 等推测解码方案。结果显示，不同模型和引擎之间差异明显，不能只凭模型规模判断实际速度。
行业怎么看
我们认为，这件事值得关注的地方在于：本地模型的瓶颈开始从“能不能运行”转向“如何分配内存和优化调度”。此前 16GB 显卡若要获得足够上下文容量，通常需要在显存容量与量化精度之间取舍；专家卸载和热点缓存，为保留更大上下文提供了另一条路径。
但风险同样清楚。首先，这是一套个人测试，基准脚本、量化版本和缓存设置都影响结果，作者也承认部分模型和引擎表现不稳定。其次，测试只覆盖少数模型与一张显卡，尚不足以证明消费级硬件能普遍承担复杂的 Agent 工作负载。这里的 Agent（能自主规划并调用工具完成任务的 AI）仍需要较长的上下文和稳定的工具调用，不能把每秒几十 token 的生成速度直接等同于完整的生产可用性。
因此，我们更倾向于把它看作本地推理工程继续成熟的信号，而不是消费级硬件性能已经全面越过专业云端集群的证据。
对普通人的影响
对企业 IT：对处理内部代码、知识库和文档的企业 IT 团队，本地部署可继续降低对云端算力的依赖。不过，16GB 显存方案仍需要精细的模型选择、量化和服务运维，短期内更适合技术团队试点，而非直接替代现有数据中心。
对个人职场：对个人职场而言，本地模型在隐私、离线和固定成本方面更有吸引力，尤其是代码辅助与私有资料分析。但它对硬件、模型配置和故障排查的要求不低，个人用户未必需要为了日常写作和问答承担这套复杂度。
对消费市场：对消费市场而言，若这种方案进一步普及，显卡厂商和整机厂商可能把“大上下文本地推理”变成新的卖点；同时，模型文件、内存容量和推理软件之间的配合，也会影响用户实际买到的体验，而非只看显卡标称算力。