这周 Reddit 本地 AI 圈一个不起眼的帖子跑出一个数字：384K 上下文、90 token/秒——支撑它的只是两张退役的加密货币矿卡（CMP 170HX，各 64GB HBM）。同机对比的阿里 Qwen3.8-Flash-Next 速度相近。两家中国头部模型厂商的开源版本，在"非主流"硬件上都跑通了——这件事告诉我们：自建大模型的成本边界，正在被悄悄改写。
这是什么
作者用的是智谱的 GLM-5.3-Flash（社区版本），一个 3200 亿参数 / 180 亿激活的 MoE（Mixture of Experts，"混合专家"——总参数大、但每次只激活一小部分，所以推理成本低）模型。压缩到平均 3.05 比特（EXL3 量化，把 16 位参数压到 3 位以省显存）后约 125GB，刚好塞进两张矿卡的 128GB 显存。
对比的阿里 Qwen3.8-Flash-Next（社区版本）用另一套量化（AWQ INT4 + FP8 PLE）和 vLLM 引擎，也跑出稳定速度。这意味着十几万元的硬件投入，已经能搭一个"自建版 ChatGPT"——长文档不进云、数据不出门。
行业怎么看
支持者会说：384K 上下文 + 90 tok/s 已经能跑实际任务（作者用 DSH 工具测了编程和 Agent——即让 AI 自主调用工具完成多步操作）。对内部文档量大、有合规要求的企业，这扇门被撬开了一条缝。
反对意见同样清楚：
第一，这是单点案例，不是 benchmark。作者自己承认 GLM 和 Qwen 用不同引擎、不同推测解码（用小模型先猜、大模型再确认的加速技巧）方案。
第二，3.05bpw 量化有真实质量损失。EXL3 用 trellis 量化（按张量重要性分配精度）保留敏感层，但用户贴的数据：与 BF16 原版相比 top-1 一致性约 81.6%、KL 散度约 0.28——可用，但谈不上"几乎无损"。
第三，矿卡是特殊场景。CMP 170HX 没有视频输出、PCIe 仅 Gen2 x8，能跑只是因为显存大、MoE 摊薄了计算量。换成普通消费卡，2 张 64GB 二手也要上万。这不是"人人都能本地跑大模型"的故事。
对普通人的影响
对企业 IT：长文档总结、内部知识库这类场景，自建方案的技术可行性已过及格线，但需要 1-2 名懂推理优化的工程师——这往往比硬件贵。
对个人职场：短期无直接影响。打开 ChatGPT、文心、通义的网页版还是最划算的。但若公司未来拿"自建 AI"作为数据合规方案找你——这文章就是判断该点头还是该反问的依据。
对消费市场：信号意义大于实际。智谱、阿里愿意持续维护开源、性能逼近闭源，这是 API 价格继续下降的供给侧保障。你现在每月几百块订阅费，三年后大概率便宜一半。