Qwen3.6-35B-A3B
一张 3090 跑预填充提速三成 — MoE 本地推理的成本曲线又被压低了一点
一个 GitHub 用户自制的 cudaMemcpy 调优工具,让单张 RTX 3090 跑 Qwen3.6-35B-A3B 的预填充速度从 345 t/s 提到 466 t/s。它不改变模型能力,却直接改写了「本地跑大模型要花多少钱」这道账,值得关心。
找到 1 篇关于此标签的文章
一个 GitHub 用户自制的 cudaMemcpy 调优工具,让单张 RTX 3090 跑 Qwen3.6-35B-A3B 的预填充速度从 345 t/s 提到 466 t/s。它不改变模型能力,却直接改写了「本地跑大模型要花多少钱」这道账,值得关心。