昨晚,我又被模型榜单绕晕了

周四晚上 11 点,我在杭州家里给客户改销售文案。Claude、GPT 和几个新模型排来排去,评论里还有人说“新王登基”。我盯着那张表半小时,最后反而没敢选——因为我真正要的,是 300 字内把语气改准、别乱编事实、费用也别超预算。这事我以前也干过:榜单看得越多,决策反而越慢。

分数有用,但它不是你的工作成绩

Artificial Analysis 给 Claude Fable 5.2 的综合分是 65,是目前页面上的最高分。它可以理解为一个公开的“统一考场”,帮助我们看模型在推理、速度和价格等维度上的大致表现。但考试题未必等于你每天写的文案、做表格或整理客户资料。

我认识一位做个人 IP 的朋友林悦,在成都经营职场账号。她没有照着榜单换模型,而是把同一篇 800 字稿子分别交给三个模型,再检查事实错误、修改次数和单篇成本。另一个用户阿杰,在深圳给 1 人公司做客户邮件,也用真实旧邮件做小测试。模型名称会换,验证办法却比较稳。

今天复刻:0 元也能做第一轮

复刻成本可以说得很低:钱是 0 元,先用现有聊天工具的免费额度;时间是 90 分钟;技术门槛是,会复制一段任务并比较结果,不需要懂代码。第一步,打开 Artificial Analysis 的模型页面,找到 Claude Fable 5.2,点进它的价格、速度和能力明细,再写下你本周最常做的一项任务。

然后拿 3 个真实样本各跑一次:写一段客户回复、整理一份会议记录、把长文改成短帖。每次都记录“一次通过还是重改”“有没有编造信息”“花了多少钱”。我也曾把提示词写得太复杂,结果测了半天才发现,原本一句“只使用原文信息”就够用了。

如果你,我会这样选

如果你刚起步,我会先不换工具:挑一个正在用的模型,用 3 个真实任务测出它哪里够用,避免为了榜单多花钱。如果你有 1—2 个稳定客户,我会做一张小表,每周记录质量、耗时和费用;像林悦那样用旧稿做对照,比追逐每次榜首更可靠。如果你在扩规模,我会把最常见的 5 类工作固定成测试集,再比较候选模型,并把资料来源和人工复核写进流程。

这工具不是所有人都需要。不想研究榜单,现在不试也没事;你也可以先把自己的任务清单列出来。能帮我们做决定的,不是最高分,而是哪项分数最接近客户愿意付钱的那个结果。