一张 RTX 3090、CPU 卸载(offload,把部分层放内存里算)、模型是 Qwen3.6-35B-A3B 的 Q8 量化版:预填充速度从每秒 345 个 token 提到 466 个,提升约 35%。做出这个结果的是 GitHub 用户 makneeee,工具叫 cudamemcpy-tuner,本质是自动调优 GPU 与 CPU 之间搬运权重的拷贝方式,没有改动模型本身。
这是什么
MoE(混合专家模型,MoE 是混合专家模型)指的是每次推理只激活一部分参数的稀疏结构,35B 总参数、每次只跑 3B,显存占用因此可控。问题是这类模型放不进单张消费卡时,仍要把一部分权重留在内存里,靠 PCIe 总线来回搬运,搬运方式就成了瓶颈。
这次动的就是这条搬运通道:让 GPU 在数据还没到齐时就开始算,用重叠执行掩盖延迟。结果是同样的硬件、同样的模型,预填充(prompt 处理,即把输入上下文转成向量的阶段,区别于逐字生成)快了三成。
行业怎么看
值得肯定的一面很清楚:推理效率的提升越来越不来自「换更大的卡」,而来自把现有硬件榨干净。这类优化往往几百行代码、几天时间,就能省下换硬件的钱,对预算有限的研究者和中小团队是实打实的成本下降。
但要提醒三点风险。第一,这是单用户、单场景的基准数字,仅由提交者本人提供,尚无第三方复现。第二,它依赖 Qwen3.6-35B-A3B 这一版模型的层结构,换模型、换量化格式、换上下文长度,收益可能完全不同。第三,GPU 与 PCIe 之间搬运权重的做法在工程上属于「缝合」,一旦上游的 llama.cpp 等推理框架原生实现了更好的调度,这层调优的维护成本就落到了使用者头上。
对普通人的影响
对企业 IT:本地部署私有模型的单位成本在下降,同一台 3090 能承接的并发和上下文长度都在提高,边缘场景的可行方案变多。
对个人职场:能在自己机器上跑得动的开源模型越来越多,意味着涉及内部文档的分析,不必每次都发往外部 API,敏感数据的处理路径更可控。
对消费市场:这一层优化的速度会向下传导到各家模型的「本地运行版」,最终体现为离线助手、翻译、摘要类小工具的响应更快;但对云端服务而言,影响要滞后得多,目前仍是少数发烧友在推动的边缘优化。