本周 Reddit 上一个讨论里冒出一个数字:每秒 40 个 token(模型处理文字的最小单位,中文下大致相当于一个字)。这是在 RTX 5090 加 64GB 内存的家用电脑上,跑阿里千问 Flash Next 压缩版得到的成绩。40 字/秒可以实时对话,硬件门槛已被跨过。但我们关心的是另一件事:这条路真的能走出技术圈吗?

这是什么

发帖人纠结的是同显存下的经典选择 —— 该跑"小模型+重度压缩"(Flash Next 压到 IQ4_XS,即用更少比特存参数,体积更小但精度有损),还是"大模型+轻度压缩"(Qwen 27B 用 Q6 精度,损失更小但吃显存)。社区主流看法是后者更聪明;但也有反对意见:Unsloth 等团队的极致量化技术把损失压得很低,某些场景下小模型反而更"锐利"。

行业怎么看

本地玩家社区普遍把这视为胜利 —— 消费级硬件终于能跑主流大模型。但资深用户给了冷水:真正决定本地 AI 能不能普及的不是生成速度,而是模型更新、文档解析、工具调用这套生态。云厂商每月发新模型,本地用户要等社区适配,永远慢一拍。

更冷静的判断来自企业 IT 视角:本地部署目前只服务两类客户 —— 极客,和数据不能出公司、有合规硬要求的少数企业。绝大多数中小企业依然走云端 API,因为更便宜、省事。

对普通人的影响

- 对企业 IT:除非数据合规硬性要求,本地部署现阶段性价比不高,直接调云 API 仍是首选。

- 对个人职场:不用纠结 Q4、Q6 这些参数选择,通义、ChatGPT、文心这类 App 已经覆盖绝大多数办公场景。

- 对消费市场:真正值得注意的是显卡和内存涨价 —— AI 本地化需求推高了 RTX 50 系和 DDR5 的价格,打算装机的朋友预算要往上提。