这是什么
事情起源于 Reddit 的 r/LocalLLaMA 板块,一位用户晒出本地跑 Qwen3.8-Flash-Next(阿里通义千问) 4-bit 量化版(模型文件 93.7 GB)的结果。机器配置是两张 RTX 3060(玩家级二手显卡,二手市场价 500-700 元一张)加一颗 AMD 7800X3D 处理器。
几个词要先讲。"125B 参数 + 6B 激活"指 MoE(混合专家)架构——模型总容量大,但每次提问只激活其中一小部分,这是消费级显卡理论上能跑通的原因。"预填充速度"(prefill)指大模型"读完"你输入内容的速度,单位 token/秒。
这位用户最初跑出 36 token/秒——意味着你输入 8000 字,模型光"读"就要等近 4 分钟。调了一圈参数后,他发现根因在 llama.cpp(主流开源推理工具)一个叫 "-sm tensor" 的默认值上。换成 "-sm layer" 立刻跳到每秒 135 个 token;再把 ubatch 调到 2048,跑到 400 t/s——比初始快了 11 倍。
行业怎么看
值得肯定的判断:阿里通义千问这条技术线确实在快速推进。一年前用两张消费级显卡跑 125B 模型基本不敢想,现在不仅能跑,还能调到接近工业级的速度。这能说明中国大模型公司在"同等参数下的能力"这个维度不落下风。
但我们觉得需要冷静三件事:第一,400 t/s 是"读"输入的速度,"写"回复的 decode 速度只有 12-15 t/s,后者更影响真实对话体验。第二,这次跑通主要依赖社区分支 ik_llama.cpp,主线 llama.cpp 默认配置就有 7 倍性能坑——意味着开源推理软件远没到"装上就用"的成熟度。第三,90+ GB 模型 + 100+ GB 内存,本质上仍是服务器负载,不是真的"消费级"。
对普通人的影响
对企业 IT:本地部署对中小企业的吸引力主要在数据不出门和长期可控成本。这次案例说明"能不能跑"已不是问题,"能不能跑好"还要看团队愿不愿意啃 ik_llama.cpp 这种社区分支——很多公司会因此退回用云端 API,选型时心里得有数。
对个人职场:"让模型跑起来、跑得快"这件事,正在从研究型博士的专长变成 AI 工程师的硬技能。能聊清楚 token/秒、batch size、显存占用这些词的人,在企业落地 AI 项目时议价权在涨。
对消费市场:这种案例对"攒机玩 AI"的发烧友算是利好消息;但对绝大多数普通用户,用网页版或手机 App 访问云端大模型依然更省心。