在 15 项任务、135 次测试中,仅增加一个序列起始标记,就有 6 项任务的回答发生改变;这说明模型输出仍会受微小工程配置影响。
这是什么
序列起始标记(Beginning of Sequence,简称 BOS)是模型用来识别输入开头的特殊标记,相当于给模型看一个“文档从这里开始”的提示。发帖者在 Ollama 0.40.14 上运行 Bielik-Minitron 7B v3.0 Instruct,固定温度为 0、随机种子为 42,并关闭提示词缓存复用,以排除其他变量。
结果显示:Ollama 的标准聊天模板与不含 BOS 的手工提示词,在 15 项任务中输出完全一致;加入 BOS 后,6 项任务出现变化。其中一项波兰语变音符号测试从全部错误变为全部正确,另五项主要涉及标点、解释长度、JSON 格式和代码写法。三次重复结果各自一致,但这不等于模型获得了普遍更强的能力。
行业怎么看
这件事值得关注,不是因为一个标记能显著提升模型能力,而是因为它暴露了生产部署中的可控性缺口:同一模型版本、相同问题、相同参数,仅因模板配置不同,就可能得到不同答案。对企业系统而言,这意味着版本记录不能只写模型名称,还要记录聊天模板、量化方式、推理引擎和特殊标记。
但我们不赞成据此夸大结论。该实验只覆盖一个 7B 模型、15 项任务和一种量化版本,作者自己也承认不能据此判断 BOS 是否普遍改善质量。温度为 0 只能减少随机性,不能消除提示词格式对输出的影响;测试任务数量也不足以支持行业层面的普遍结论。更稳妥的判断是:这是工程复现风险的一个案例,而不是 BOS 比不加 BOS 更优的证明。
对普通人的影响
对企业 IT:大模型上线前需要固定提示词模板并建立回归测试,不能只凭一次演示判断系统稳定。
对个人职场:同一工具反复生成不同答案时,差异未必来自“模型时好时坏”,也可能来自隐藏配置;重要结果应保留输入、版本和运行参数。
对消费市场:依赖本地模型或应用套壳服务的产品,功能差异会越来越取决于底层工程细节,而不只取决于模型参数规模。