这是什么

16GB 内存、M5 MacBook Pro、20-30 tok/s——这组数字说明，本地大模型已经不只是“能不能跑”，而是进入“怎么把硬件榨干”的阶段。

Reddit 社区 LocalLLaMA 上，一位开发者公开了自己为 Gemma 12B 做的 MLX 内核项目。MLX（苹果面向自家芯片的机器学习框架）+ kernel（底层算子实现）这类工作，不是做新模型，而是让现有模型在本地设备上跑得更省内存、更快。作者直说这是实验项目，不打算产品化，当前重点仍是图优化和多 token 预测验证。

行业怎么看

我们注意到，这类项目的意义不在“又一个开源仓库”，而在信号：本地模型竞争，正从参数规模转向工程效率。谁能在消费级硬件上稳定跑起来，谁就更接近真实使用场景，比如企业内网、个人隐私数据处理、离线办公助手。

但反对意见同样成立。第一，20-30 tok/s 只是特定负载下的理论上限，不等于日常体验；第二，16GB 内存门槛依然紧，连辅助草稿模型都可能塞不下；第三，作者明确说“不产品化”，这意味着稳定性、兼容性、维护成本都还没被验证。换句话说，这更像技术试验田，不是企业可以立刻采购的解决方案。

对普通人的影响

对企业 IT：本地部署的吸引力在上升，尤其是对数据不愿上云的团队，但短期仍要为适配、调优和维护付出不小成本。

对个人职场：知识工作者未来会更常见“电脑本地跑助手”的形态，响应更快、隐私更强，但距离即装即用还有一段路。

对消费市场：苹果 Mac、轻量工作站和本地 AI 工具会继续受益，不过真正带动大众购买的，仍不是跑分，而是有没有稳定、好用的软件产品。