我第一次看到 AI 把账单算错,也第一次意识到“会答题”不等于“会干活”
上周四晚上,我让一个 AI 助手处理模拟合同。它能在对话里解释税务规则,却把邮件里“商誉”这一行放错了位置,最后做出的表格少减了 2.3 万美元。我盯着那份表格没敢直接发客户。也卡过:以前我总觉得,模型能说清答案,就代表它能稳定完成任务。
这次 Latent Space 邀请 Handshake AI 创始人 Garrett Lord 及团队,拆解他们如何为前沿 AI 实验室制作训练数据。简单说,就是给 AI 安排接近真实工作的练习题,并检查过程,而不只看最后答案。金融场景模拟银行邮件、合同文件和表格;生物场景让模型判断九张脑肿瘤切片中哪两张血管坏死最明显;编程场景则检查它读了哪些文件、改过哪些命令。
真名场景是:2025 年,生物研究员 Nick Magazine 在播客演示中选出 H 和 I 两张切片,模型却多选了 G。他现场指着组织影像解释缺失在哪里。这种“过程验尸”很关键,因为只看 AI 的最终回复,往往发现不了它其实没查证关键材料。
复刻成本:不是买个软件就能当 AI 数据生意
按公开信息,Handshake 约一年做到 10 亿美元年化营收,这不是我照着教程能复制的数字。若只做小型定制练习任务,预算可以按数万美元起步;自己搭第一版,大约要投入 1—3 个月。技术门槛是:需要能检查 AI 工作过程的工程能力,以及懂金融、科研或编程的领域专家。第一步不是注册账号,而是打开 Handshake 官网联系团队,询问是否提供小规模试做。
如果你暂时没有专家和预算,也可以用现成任务记录软件,或请同事录下自己的操作过程,整理成带评分标准的案例。现在不试也没事,这门生意离普通副业玩家还很远。
按你的阶段,先选最轻的一步
如果你刚起步,我会先卖“一个岗位的练习任务包”,找律师助理、分析师或研究员访谈,把它做成 20 个带检查点的案例;别先买服务器。
如果你已经有 1—2 个客户,我会把报价拆成题目设计、过程标注和质量复核三段,先拿一个固定场景试单。你能看懂任务细节,比会写复杂代码更重要。
如果你正在扩规模,我会优先建专家评审和可追溯检查机制,而不是堆更多题目。Handshake 的核心启示是:客户最终买的是可靠过程,不是更长的聊天记录。