本周我们注意到一条值得展开的本地 AI 信号：一位 Reddit 用户在 96GB 显存的 M5 Ultra Mac Studio 上跑出量化（压缩）后的 8B 大模型，预填速度（模型读取提示词的速度）达到 3191 tokens/秒，是另一个主流本地方案 llama.cpp 的 2.2 倍。但 107GB 的下载体积和 4 万元起售的硬件说明，'人人本地跑大模型'离我们还很远。
这是什么
原帖作者 Dankpaws 把一个叫 Swift 1.5 的模型（基于阿里通义千问 Qwen3 8B 微调，即在原模型上针对特定用途继续训练）做成 4.7 bits/参数（每个模型参数用 4.7 个二进制位存储）的 MLX 量化版（针对苹果芯片优化的压缩格式），专门给 96GB M5 Ultra Mac Studio 用。模型文件 107GB，测试上下文（模型单次能处理的文本长度）支持 17.9 万 token。
关键测试数据：2.5 万 token 提示词下预填速度 3191 tok/s、解码（模型逐字生成回答）速度 113.7 tok/s；与原始 BF16（16 位浮点，未压缩的原始精度）输出一致率 91%。横向对比 llama.cpp 的 IQ3_XXS（更激进的压缩方案），速度和精度都更好。
行业怎么看
乐观的解读是：苹果 M 系列芯片在 AI 推理（让训练好的模型实际运行）上的潜力终于被挖出来，3 千 tok/s 意味着长文档处理基本无感；本地大模型在数据隐私、离线可用、长期成本上，有云端给不了的优势。
更克制的判断是：这是单台机器的民间基准，不可推广；8B 参数在 2025 年只能算'小模型'，和云端动辄数百 B 的旗舰仍有数量级差距；107GB 下载对普通用户的网络和耐心都是门槛；更关键的是，作者自己说'现成模型不满意'才被迫自量化（自己动手压缩模型）—— 本地大模型的工具链（从压缩到部署的整套软件）还远未成熟。M5 Ultra Mac Studio 起售价 4 万人民币以上，这是'AI 高端玩家俱乐部'，不是'AI 民主化'。
对普通人的影响
对企业 IT：短期内值得观察的是数据敏感行业（金融、医疗、政务）的本地化部署需求，中小企业 IT 部门不必急于跟进，现成云端 API 的性价比仍更高。
对个人职场：白领用 ChatGPT、Claude、Kimi、文心一言等云端产品更现实，自己在本机跑模型需要硬件、下载、调试全套能力，对非技术岗位成本不划算。
对消费市场：苹果正把 Mac 打造成'AI 创作者工作站'，未来 1-2 年内容工作者、独立开发者用本地模型会更顺；但'人人家里跑大模型'这一天，至少还要 2-3 年。