上周三晚上，朋友甩我一份合同截图

上周帮朋友看合同，他用 ChatGPT 生成的条款里，引用了三个根本不存在的判例。我当时就傻了——他可是看了测评博主说"GPT-4 跑分第一"才买的会员。

这事儿和"跑分末日"有啥关系

这话题来自 Dan Luu 那篇《Benchmarkpocalypse》（跑分末日）。他讲了：现在的 AI 跑分榜上，那些拿高分的模型，常常在实际任务里拉胯——编造法律条文、写错代码、给出假数据。原因？出题的人被"刷榜"了，模型被针对性训练"考试高分"，但真干活就不行。

咱们做副业、做一人公司的，最容易踩这坑：挑工具只看"哪个分数高"，不看"谁在什么场景里用着真不错"。

认识一个叫小陈的自由翻译，他之前用某国产大模型写商务邮件，号称"中文跑分第一"。结果客户回信问："你引用的合同条款是哪个版本？"他才发现模型编了三个不存在的法规号。从那以后他只信朋友的实际案例，不信排行榜。

你今天复刻这个思路的成本

钱：0 元。这不花钱买工具，是换一种选工具的方式。
时间：1-2 小时。找 3-5 个在你同行业用 AI 的人，聊他们踩过什么坑。
技术门槛：会发微信、会打电话就行。
第一步：打开微信群或朋友圈，发一句"最近谁在用 AI 干活？翻车过没？"——等着收真实故事。

给不同阶段朋友的建议

如果你刚起步（还没第一个客户）：别看跑分榜。直接问身边 3 个同行的朋友，他们用什么、踩过啥坑。花一下午问完，比你看一周测评文章有用。

如果你有 1-2 个稳定客户：把你常用的 AI 工具做个"我的踩坑清单"——客户问过哪些问题、你答错了哪些。记下来，下次选工具就有自己的标准了。

如果你在扩规模（团队 3 人以上）：建一个 5-10 人的小群，拉上客户和同行，专门聊 AI 工具的真实使用体验。每月一次午餐会，比订阅任何跑分监控服务都管用。

最后说一句：跑分榜不是不能用，但别当唯一标准。现在不看也没事，先把手头的活干好。