在一项由 Reddit 社区用户完成的测试中,六款开源模型面对30个虚构实体问题,最佳模型有21题明确回答“未知”,最差模型只有1题。这不是正式基准,却把一个常被忽略的问题摆到台面:拒绝编造,可能比综合跑分更接近企业可用性。
这是什么
测试使用30个并不存在的小说、城镇和大学,再加入6个真实问题作为对照。模型被要求在结尾输出“Exact Answer”字段;若无法确认,就回答“UNKNOWN”(未知)。最终成绩不是按答案正确率计算,而是统计模型在虚假问题上有多少次诚实拒答。
结果显示,Qwen3.8-Flash-Next 与基于 Gemma4 的 Orion-26B-A4B-v1.1 均答对21题;Qwen3.6-35B-A3B 为16题,Qwen3.8-27B 为11题,其微调版本仅8题,Qwen3.6-Huihui-Abliterated 则只有1题。也就是说,表现最好的模型有七成机会承认“不确定”,最差模型几乎会对虚构信息持续作答。
行业怎么看
我们认为,这项测试的价值不在于给模型排出一张权威榜单,而在于它触及了大模型进入业务流程时的一笔隐性成本:幻觉(模型生成看似可信、实际错误的信息)。用于内部知识检索、合同审阅或客服辅助时,模型“不知道”通常比给出一个带年份和人口数字的假答案更安全。
风险也很清楚。测试只有30道题、6个对照题,且全部依赖贪心解码(模型每次选择概率最高的答案)和特定提示格式;样本量、问题类型与量化版本都可能影响排名。更重要的是,拒答率高不等于知识更丰富,它也可能意味着模型覆盖不足或过度保守。社区结果可以提示风险,不能替代针对业务数据、提示模板和真实用户的系统评测。
对普通人的影响
对企业 IT:采购模型时,除了比较价格、速度和公开榜单,还应加入“虚构实体”“过期信息”和“无来源问题”测试,记录拒答率与编造率,并保留人工复核与来源追踪。
对个人职场:让模型处理资料检索时,要求它给出处、区分已知与推测,并把“不知道”作为有效回答;关键结论仍需回到原始文件核对。
对消费市场:能承认不知道的智能助手未必更会聊天,却可能更适合旅行规划、教育辅导和购物咨询,因为错误地址、机构或政策一旦被当成事实,纠错成本最终会转嫁给用户。