一项训练方法上的常识值得企业重视:模型做不好任务,不一定要用强化学习;先分清它缺的是知识、规矩还是稳定发挥,能避免把预算花在错误的训练阶段。

这是什么

原文把大模型训练拆成四个阶段。预训练(Pre-training)通过预测下一个词(模型一次生成一个文本片段)建立语言和通识基础;中期训练(Mid-training)继续补充特定语言、行业或代码知识;监督微调(SFT,模仿“问题—标准答案”样例)主要规范格式、语气和操作流程;强化学习(RL,根据得分结果调整行为)则用于提高好答案出现的频率。

SFT与预训练的基本机制相同,都是预测下一个词,区别主要在数据和算损失的范围。它更适合教模型“应该怎样回答”,而不是批量灌输事实。经常更新的知识,则通常需要借助外部资料库,而非写进模型参数。

行业怎么看

我们赞成原文“先诊断、后训练”的顺序:先用提示词、工具和上下文解决问题;只有模型确实需要新知识、行为规范或更稳定的策略时,才进入相应训练阶段。对企业而言,这能把数据治理、评测集和工具接口放在算法选择之前。

风险也需要明确:SFT与RL并非绝对分工,训练数据丰富时SFT也能产生迁移能力;RL若奖励设置不当,也可能放大钻空子等错误行为。pass@k(尝试k次、至少成功一次的概率)能辅助判断模型是否具备基本能力,却不能替代业务验收。真正决定效果的是数据质量和训练环境,而不是PPO、GRPO等具体算法名称。

对普通人的影响

对企业IT:采购模型或启动微调前,应先建立错误分类和评测基线,避免用昂贵训练修复本可由工具调用、资料检索解决的问题。

对个人职场:与模型协作时,提供清晰格式、示例和可用工具,通常比笼统要求“更聪明、更准确”更有效;专业事实仍需核验。

对消费市场:模型应用会更重视稳定遵循流程,而非只会展示知识。价格和竞争点可能从参数规模转向数据、工具与评测体系。