这是什么

r/LocalLLaMA 上一位开发者微调了一个叫 DFlash 2 的'猜测小模型'，让它配合 PrismML 的 Ternary Bonsai 2 27B 大模型工作。原理是推测解码（speculative decoding）：让小模型先猜几个词，大模型只负责核对，能跳过大量重复计算。原版 DFlash 是为 16 位精度的 Qwen3-8B 训练的，对压缩到三值（每个参数只用 3 种状态存储）的 Bonsai 2 猜不准。开发者用 150 万 tokens 的 Bonsai 2 自身输出重新训练后，速度上来了。

行业怎么看

支持方认为，开源社区正在用'小模型 + 微调'补齐大模型的推理效率，本地 27B 模型的用户体验开始接近云端 API，新闻稿里 1.5x on a Mac 是关键信号。但反对意见同样明确：所有数字都来自一台 L4 和一台 M4 Pro 的自测，原帖作者自己也在求 3090、4090 等其他显卡的复测；三值量化对模型质量的影响可能被'每套题 1-2 题准确度差异'这种小规模测试掩盖；而且 24GB 显存 + 量化 27B 模型，对绝大多数办公笔记本仍然遥不可及。

对普通人的影响

对企业 IT：少数先行团队开始把 AI 推理从云端迁回本地，理由是数据合规和长期算力成本。

对个人职场：M4 Pro 以上的高性能 Mac 已经能跑'接近云端体验'的本地 AI，但常规 16GB 内存笔记本还差得远。

对消费市场：本地 AI 浏览器和端侧应用开始有真实使用价值，但生态距离'一键安装即用'还有距离。