一项由开发者发布的基准测试显示,BigMoeOnEdge 在 8GB 显卡上运行 Qwen3.6-35B 时达到约 35 token/s,高于 Colibri 的约 23 token/s;在 16GB MacBook 上运行 125B 级模型约 10 token/s。我们的判断是:它降低了本地运行大模型(把模型部署在自己设备上,而非云端服务器)的硬件门槛,但结果仍停留在项目实测阶段,不能直接视为通用方案。

这是什么

BigMoeOnEdge 是一个面向 llama.cpp 推理框架(将大模型运行在本地设备上的开源工具)的加载方案。开发者称,它可以读取 llama.cpp 支持的任意 MoE 稀疏专家混合模型,无需重新打包或转换格式;这里的 MoE 指一次推理只调用模型中部分参数,以减少计算量。

测试覆盖 NVIDIA、AMD、Intel、Mac、手机和电脑 CPU 等环境。作者报告,8GB 显卡运行 Qwen3.6-35B 时,首个 token 约需 5 秒,Colibri 接近两分钟;不过在针对特定模型优化的双 RTX 5060 Ti 配置上,Strata 仍快约 1.3 倍。

行业怎么看

值得关注的是,“任意模型直接运行”意味着开发者不必为每个新模型维护专用计算内核,降低了本地部署新模型的时间成本。自动适配硬件参数,也让同一份量化模型更容易跨设备迁移。

风险同样明确:这些数字来自项目作者自测,尚未看到独立机构复现;模型、量化方式、上下文长度和系统设置都会影响速度。更重要的是,Strata 等专用方案在其目标硬件上仍然领先,说明通用兼容性并不等于性能最优。对没有 GPU 的普通用户而言,16GB 内存 Mac 或手机能运行多大模型、速度是否可接受,仍需单独验证。

对普通人的影响

对企业 IT:小团队可用一台工作站试验内部模型,减少对云端 API 的依赖,但生产部署前仍要核算并发、延迟、维护和合规成本。

对个人职场:具备显卡或大内存电脑的专业人士可本地处理敏感文档,减少资料上传云端的需要;普通电脑用户则未必因此获得可用的办公模型速度。

对消费市场:本地模型运行门槛下降,可能推动更多隐私优先的 AI 助手和小型 AI PC 产品,但当前距离“人人流畅运行大模型”仍有明显距离。