几千到几万条高质量样例,通常就足以让监督微调(SFT,用“问题—标准答案”样例训练模型)固定输出格式和流程,但补不上模型的知识缺口;把模型调得更听话,不等于让它知道得更多。

这是什么

SFT 主要教模型“怎么说”,不是“知道什么”。它适合任务边界清楚、答案格式稳定、评价标准明确的场景,例如让客服回答符合规范,或让研究报告保持统一结构。

数据准备通常分三步:人工编写少量种子样本,用更强模型批量扩充,再通过规则与人工筛选。真实业务日志则应先去掉隐私信息,提炼为虚构任务,并在隔离环境中检验题目难度、工具调用和最终结果。

拒绝采样微调(RFT,让模型对同一问题多次作答,只保留验证正确的答案)能减少错误样本。蒸馏(把强模型能力迁移给更小、更便宜的模型)可降低成本:只保留结论能提高效率,保留完整推理过程则可能让小模型恢复强模型约70%至80%的能力,但错误也会一并被继承。

行业怎么看

我们认为,文章最有价值的判断是:SFT 的上限往往由数据工程决定,而不是由训练算法决定。任务越明确,少量精修数据越划算;业务越开放,越需要外部知识库、搜索或工具调用补足事实依据。

风险也很明确。蒸馏会复制教师的系统性错误;只学最终答案的小模型,可能失去调用工具后的可靠性;SFT 还可能强化样例中的刻板模式。因此,“模型已经微调完成”不能等同于“可以无人监管地投入生产”,持续评测仍是必要成本。

对普通人的影响

对企业 IT:企业采购微调服务时,应把数据质量、错误率和回滚机制列为验收指标,而不是只比较样本数量与单次训练价格。

对个人职场:专业经验仍来自人的判断和真实业务知识;微调更适合把已有能力整理成稳定输出,不能替代学习新行业、核对事实和承担决策责任。

对消费市场:聊天模型回答更规整后,产品体验会更一致,但“语气专业”也可能掩盖知识错误,消费者和企业仍需保留引用来源与复核环节。