90% 的 Agent 项目卡在落地,这一常被引用的比例并未在本文中得到证实;但一个更可靠的判断是:模型在多语言、内部协议或长合同任务上反复出错时,问题往往不在强化学习,而在基础能力缺口。
我们注意到,大模型团队正从“先做强化学习、再补知识”转向“先补底座、再优化输出”。训练方式的选择,直接决定企业 AI 项目的成本和最终效果。
这是什么
Mid-training(中期训练,也称继续预训练)是在已有模型上继续学习特定领域资料,方式仍是预测下一个词。它适合补足稳定且规模较大的语言、行业知识和代码能力。
强化学习并非没用,它更适合把“偶尔能做对”的任务变得稳定;SFT(监督微调)则通过问答样例教模型如何回答。但当模型多次尝试仍无法答对时,说明所需知识可能从未进入模型,强化学习就缺少可复用的正确样本。
一个实用判据是 pass@k:同一任务独立尝试多次,至少成功一次。如果多试几次偶尔能对,说明能力存在但不稳定;如果始终答不对,就应先考虑 Mid-training。
行业怎么看
我们认为,这一转向对企业和模型厂商都有现实意义。企业不必把所有希望押在昂贵的后训练上,数据质量、专业任务评测和持续更新能力,正在成为更有价值的基础设施。
风险也很明确:继续训练可能引发“灾难性遗忘”,即学会新领域后,旧语言和通用能力退步。文章提到,Mistral 7B 以约 80% 韩语、20% 英语继续训练后,韩语能力提升,但英语表现出现下降。全参数训练又意味着更高的成本,因此更适合先在小模型、小数据上验证。
此外,Mid-training 只能处理相对稳定的知识。对于频繁变化的事实,或必须提供原始出处的内容,RAG(检索增强,即让模型实时查询外部资料库)仍然更合适。将动态信息写进模型参数,反而可能制造过时答案。
对普通人的影响
对企业 IT:企业采购模型服务时,不应只比较榜单分数,还应要求供应商说明领域数据来源、通用能力回测和版本更新机制。涉及内部制度的项目,需要区分稳定知识与动态信息。
对个人职场:非技术岗位使用专业 AI 工具时,遇到反复答错的任务,继续改提示词可能收益有限。更有效的做法是提供权威材料、限定引用来源,并把高风险结论留给人工核验。
对消费市场:随着专业模型持续吸收行业资料,翻译、合同阅读和客服助手会更贴近具体业务。但模型“记得更多”不等于“回答更可靠”,消费者仍需留意过时信息、能力退步和缺少出处的问题。