本周一个开源项目做了件反常识的事：把 37GB 的大模型塞进了 24GB 内存电脑的浏览器标签页里——靠把 MoE 权重留在 SSD 流式读取。意义不在速度（比 llama.cpp 慢约 3 倍），而在它把"本地跑大模型"推到了工程可用级别。

这是什么

NakliTechie 发布的 LocalMind 是一个静态网页，用浏览器内置的 WebGPU（让网页直接调用显卡的接口）跑大模型。关键技巧叫"流式 MoE 权重"——MoE 是"混合专家"架构，把模型切成很多小块，每次推理只用其中几个；LocalMind 把暂时不用的"专家"留在 SSD，需要时再读进来。结果：24GB 内存的 MacBook M4 Pro 跑得动 37GB 的 Qwen3.6 35B-A3B 和 14.4GB 的 Gemma 4 26B-A4B，输出与 llama.cpp（开源推理引擎的事实标准）几乎一致。

代价也明确：解码速度 23.6 tok/s（每秒生成约 24 个字），比 llama.cpp Metal 版的 70.6 tok/s 慢约 3 倍。首次加载 14.4GB 模型要 11.5 分钟，之后秒开。

行业怎么看

支持方认为这条路线"刺破了云端 AI 的神话"——大模型不必永远寄居在数据中心和 API 后面，本地浏览器就能跑，对数据敏感的企业有现实意义。

但反对意见同样明确：3 倍速度差对实时应用是致命的；WebGPU 跨浏览器稳定性参差不齐；项目只有一个人在维护，谈不上工程化。更现实的判断是：这是技术 demo，不是产品形态——证明了"够用就好"的本地 AI 是可能的，但商业化路径还远。

对普通人的影响

对企业 IT：短期不必担心替代云端方案，速度差摆在那里；但中小企业的"敏感数据不出门"诉求，可能率先被这类工具满足。

对个人职场：懂技术的同事可以拿它做内部工具原型；不懂的人目前用不到，等浏览器和模型都更轻才行。

对消费市场：手机和轻薄本上"跑大模型"的故事会越来越多，但真正好用的产品还要等。