01 触发事件
11 月 21 日凌晨,腾讯首席 AI 科学家姚顺雨与混元团队在海外社交媒体社区进行文字 AMA。针对“字节跳动、Kimi 等模型参数量似乎向 3T 甚至 5T 推进,为什么停在 700B”的提问,团队回应称,Hy3 和 Hy4 已证明较小模型也能超过更大模型,而且成本更低。
但同一回答也承认,Hy4 仍有很大改进空间,尤其是后训练;团队正在投入大规模强化学习、改善用户体验与模型安全,并计划训练更大规模模型。
这是一条值得读,但不是“腾讯放弃 scaling”的信号。更准确地说,腾讯把 scaling 从默认路径降为工具,而不是停止扩张。
02 这事的真正含义
问题不在 700B、3T 还是 5T,而在 scaling 究竟解决什么。
混元团队的隐含判断是:模型能力和部署成本之间存在一个最佳点。超过这个点,单纯增加参数可能带来有限收益,却会直接抬高训练、推理和 serving 复杂度。Hy3、Hy4 如果确实能以更小模型超过更大模型,那么受威胁的不只是同行的产品,而是“先堆参数、再寻找场景”的资本配置方式。
不过,“更便宜”是相对陈述,不等于已经建立了可量化的 cost-performance moat。原文没有给出参数量、benchmark、latency、吞吐、KV cache 占用或 API 单价。我没在内部跑过 Hy3、Hy4,也没有看到完整模型卡,因此不能把团队这次口径直接当作已验证的结论。
真正可能成为壁垒的,不是某个模型名,而是三件事能否同时成立:
- 前沿能力不因缩小参数规模而明显坍塌;
- RL 与 post-training 能持续缩小能力差距,而不是只靠静态 benchmark;
- 部署 economics 足以支撑真实流量,而不只是实验室数字。
如果这三点成立,700B 可以成为更优的 operating point;如果后训练无法接棒,“小模型胜出”就会退化成一次阶段性 benchmark 优势。
03 历史类比 / 结构对照
这更像 2014 年前后 AWS 的打法,而不是 2007 年 iPhone 的发布。
iPhone 展示了新计算范式;AWS 则展示了 infrastructure 可以通过更高利用率、更低单位成本和更轻交付方式,替代企业原本直接购买昂贵硬件的做法。混元当前强调“小模型、更便宜”,也是在争夺类似的单位经济性优势。
但两者有一个关键区别。AWS 不只是说 cloud 比 server 便宜,还用 instance 类型、API、区域可用性和客户迁移路径建立了完整产品结构。模型厂商若想靠 efficiency 建立 moat,也必须把优势穿透到整个 stack:
- routing 能否根据任务难度自动选择模型;
- KV cache 与 prefix caching 能否降低长上下文成本;
- speculative decoding、量化、MoE activation 与 batch serving 能否提高有效吞吐;
- model update 能否维持质量,而不让回归测试和 eval 成本吞噬收益。
所以,参数量不是战略本身。真正的战略是控制每个成功任务的总成本,包括 tokens、重试、延迟、人工验收与失败成本。这也是为什么 model routing 和 token gateway 会有价值:它们把模型能力差异转换成客户可采购的 SLA 与账单。
腾讯还保留了一张底牌:继续训练更大规模模型。这说明它并没有相信 efficiency 足以封死上限。它更像在买两条期权——先用较小模型守住成本曲线,同时用大模型保持能力上限。
04 对 AI builder 意味着什么
这周最该做的,不是把 production traffic 全部切到混元,而是重算自己的 model portfolio。
第一,把“每项任务”而非“每次 API 调用”列出来。分别记录模型单价、输入与输出 tokens、cache hit、tool-call 次数、重试率、端到端 latency 和人工返工。对 agent workflow,最后一项往往比 token 账单更重要。
第二,给模型建立 capability tiers,而不是押注单一模型。高频、规则明确的任务可路由到便宜的小模型;复杂推理再升级到 frontier model。这里可能存在的套利窗口,就是同一个 API 背后用 routing 消化能力差异。不过我没在内部 benchmark 过 Hy3、Hy4,不能给出未经验证的升级阈值。
第三,post-training 应当成为产品路线图,而不是供应商路线图。如果你的差异化来自 workflow、tool use、domain data 或 feedback loop,就要把 RL 数据、reward design、eval harness 和 regression suite 掌握在自己手里。混元团队强调后训练,恰好说明基础模型与垂直应用之间的剩余价值正在向后训练层迁移。
第四,不要把“计划训练更大模型”当成确定供给,也不要因为当前规模较小就忽略它。模型供给侧仍然可能出现能力阶跃;router 必须支持新增模型热插拔、fallback 和价格变化后的自动重分配。否则所谓 efficiency 只是静态架构优势。
对独立 AI 产品创业者而言,腾讯同时拥有模型、云、分发和 enterprise relationships。它的潜在优势不在单次 benchmark,而在 distribution 与 infra bundling。Opportunity 反而在跨模型层:谁能在不同模型之间提供可验证的成本、质量与延迟最优解,谁就可能成为 AI 时代的 AWS 控制面,而非某一个模型的附庸。
05 反方观点 / 风险
我可能低估了“更大规模模型”的破坏力。
这次 AMA 里最值得警惕的,不是“Hy4 仍可改进”这句自我要求,而是团队在同一场对话中既强调效率,又承认要继续扩大规模。如果 scaling law 没有真正失效,那么今天的小模型优势可能只是暂时领先;下一轮训练、post-training 或 test-time compute 变化,都可能重新拉开差距。
另一个风险是 benchmark 与真实用户体验脱节。团队说 Hy3、Hy4 已经证明较小模型可以超越更大模型,但没有披露任务分布、采样参数、agent scaffold、推理预算和成本口径。尤其对 agent 产品,模型裸能力与系统完成率可能不是一回事。我没在内部跑过这套体系,不能替它确认优势。
最后,腾讯拥有微信、腾讯云和 enterprise distribution。它即使模型能力只做到行业前列,也可能通过默认入口、bundling 和渠道补贴压低获客成本。这会摧毁“效率换来的低价格就是 moat”这一假设:价格优势可能无法独立存活,因为竞争者最终卖的是分发与生态,而不是每百万 tokens 的报价。
所以我的结论不是“腾讯找到了正确的 scaling 后路线”,而是它暂时拒绝把参数量当唯一战略。但最危险的误判,是把克制当成胜利。真正要等的是 Hy4 的完整技术报告、可复现 benchmark,以及有真实流量支撑的 API economics。