64GB 内存的 MacBook Pro 跑 Qwen Flash Next 达到约 24 token/s,Strata 正把本地 AI 的边界从“显卡能装下多少”推向“硬盘能否承接部分计算”。这意味着消费级电脑运行大模型,限制可能不再只是显存容量。

这是什么

Strata 是一种模型卸载技术:将大模型暂时不用的部分转移到 SSD(固态硬盘),需要时再调用。它不是新模型,也不提高模型本身的智能水平,而是降低运行大模型对内存和显存的硬性要求。

发帖者使用 Strata 和 MoEShift 等开源研究,在 64GB 内存的 M1 Max 上运行 Qwen Flash Next,速度约为每秒 24 个 token(token 是模型处理文本时使用的基本单位)。Qwen Flash Next 是一款参数规模较大的开源模型,完整放入内存并不现实。

行业怎么看

值得关注的是,用户开始接受“本地模型不必达到最强,只要够用”的取舍。对于摘要、初步整理、代码辅助等任务,接近前沿模型的能力可能并非必要;把工作负载留在本地,也能减少云端调用费用和数据外传。

但这份体验不能直接外推到所有机器和个人。SSD 卸载可能带来速度波动、长期读写压力与更高的硬件故障概率,Strata 和 MoEShift 也仍是社区项目,尚缺大规模稳定性验证。Reddit 上单个使用者的成功案例,更多说明技术路径可行,而不是产品已经成熟。

对普通人的影响

对企业 IT:预算有限的团队可能先用高内存电脑试验私有化部署,减少对 API 的持续调用;但企业采用前仍需评估速度、并发、数据留存和磁盘可靠性,不能把个人玩家的结果直接当作生产方案。

对个人职场:文档整理、会议纪要和初步写作等任务,未来可能更多在本地完成。短期内,设备内存、SSD 性能与安装维护能力仍会决定谁真正受益。

对消费市场:“64GB 内存加高速 SSD”可能比单纯追求高端显卡更能影响本地 AI 体验,厂商若围绕这一组合优化软件,普通人使用大模型的门槛会随之下降。