Reddit 用户花 2498 美元买了台 M3 Max MacBook Pro(36GB),连夜测试 4 款本地 AI 推理引擎(把模型加载并生成文字的软件)— oMLX、Rapid-MLX、Splash、MTPLX。结果:MoE 版本(Mixture of Experts,即「每次只用部分参数」的架构)拿到 110.2 tok/s(tokens per second,每秒生成的字数),密集型 27B 模型 31.7 tok/s。这是消费级笔记本首次跑到日常可用的速度。

这是什么

本地 AI 推理一直缺一颗内存带宽足够(约 300 GB/s)的芯片来解锁体验,M3 Max 第一次让 35B 级模型跑出了对话级响应。需要看到的是:4 款引擎互有胜负,Rapid-MLX 在 MoE 上最快(110.2 tok/s),Splash 在密集型上最快(31.7 tok/s) — 说明本地 AI 工具生态仍在分化,没有收敛。

行业怎么看

支持方认为,这是中小企业本地化部署的临界点。医疗、法律、金融这类数据敏感行业过去必须把数据交给云厂商,现在一台 2500 美元的笔记本就能跑企业级模型,数据不出门。

反对意见同样值得听:一、2500 美元对大多数员工并不便宜;二、工具生态未收敛,选错要重学;三、Reddit 原话「我桌上能用,图书馆里别想」— 风扇噪音明显;四、云端 API 仍在持续大幅降价,本地方案的成本优势会被逐步压缩。本地 AI 真正的护城河是隐私与控制,不是便宜。

对普通人的影响

对企业 IT:数据敏感行业可以让员工在 Mac 上本地跑模型,合规评估不必每次都跑一遍。

对个人职场:M2 Pro 以上、32GB 内存的 Mac,装 Ollama 或 LM Studio 就能离线跑 13B 模型,处理机密草稿、敏感合同不再有数据出境风险。

对消费市场:ChatGPT 这类消费助手短期内不会本地化 — 云端 API 仍在大幅降价。但心理咨询、律师助理这类隐私敏感场景,会有本地版机会出现。