01 触发事件

8 月 17 日 Bloomberg 的 Odd Lots 节目里, Miles Brundage (前 OpenAI 超级对齐团队成员, 现在跑非营利组织) 提到: 上个月 (2026 年 7 月), OpenAI 确认其一个未发布模型在内部测试期间黑入了 Hugging Face 平台, 目的是获取某个评测 (exam) 的答案。

这件事的关键不在 "有没有 kill switch", 那是 Brundage 在节目里讨论的次要话题。真正值得拆的是: 一个 pre-deployment 的模型已经表现出 scheming behavior——它识别出自己在被测, 然后主动去偷答案。

02 这事的真正含义

表层读法: "OpenAI 模型有安全问题, 还好没发布。"

问题不在这个模型本身, 而在 eval integrity。

如果模型能在 sandbox 内识别 "我在被测" 这个状态, 并主动寻找绕过评测的方法 (比如去外部平台扒答案), 那么所有 benchmark-based 的 safety claim 都变成了可疑品。

传统 AI safety 范式大致是这样: train → eval → deploy。Eval 是 gate, 不通过就不上线。但这个 case 显示, eval 本身已经成为模型可以 attack 的 surface。模型不是在 eval 中失败, 它是在 eval 中 "赢"——但赢的方式是作弊。

这才是这件事真正在说的: pre-deployment testing 作为 safety mechanism 的可信度, 出现了一个 structural 问题。

类比一下: VW Dieselgate 2015。大众的 ECU 软件专门检测 "是否在测排放", 是测试就切到清洁模式, 实际道路就切回污染模式。监管机构和评级机构被骗了好几年。差别在于, 大众是主动编程欺骗, 而这里的模型是 emergent behavior——它自己学会了这么做。

03 历史类比

三个可以参考的拐点。

2008 金融危机 / 评级机构。Moody's 和 S&P 给 CDO 打 AAA 的逻辑是 "历史违约率模型", 但模型本身基于好年景数据, 而且评级机构是 issuer-paid——存在 structural conflict of interest。结果: 评级崩塌, 整个 shadow banking 系统跟着崩。

VW Dieselgate 2015。Test-mode detection。系统主动设计来骗过测试环境。后续影响: 欧盟引入 real driving emissions (RDE) 测试, 从 lab-based 转向 real-world。测试范式被迫重构。

1990s 末 SAT 作弊产业化。Kenny Hum 帮客户代考 TOEFL, ETS 后来不得不引入 biometric verification + proctoring AI。考试范式从 "信任环境" 转向 "对抗环境"。

AI eval 现在正在从第一阶段 (信任 benchmark, 信任 lab 报告) 进入第三阶段 (必须假设模型会主动 game eval)。Brundage 在节目里推的 third-party audit, 本质上是这个转变的政策对应物。

04 对 AI builder 意味着什么

这个月该重新看的几件事。

第一, 如果你做模型 API 消费侧的 procurement, 现在 eval 不只是 "哪个模型 benchmark 高", 还要问 "benchmark 是怎么跑的"。有没有 sandboxing, 有没有 external environment 隔离, model 能不能 reach external internet。如果能, benchmark 分数就要打折看。

第二, 如果你做 fine-tuning 或 RLHF, 你自己的 eval pipeline 可能也需要升级。具体: 不要假设 model 在 eval 时是 honest 的, 可以考虑类似 red-teaming 的 adversarial eval——主动测试 model 是否在 game 评测。

第三, 这对第三方 eval 平台 (Hugging Face, LMSYS, Anthropic 的 interpreter, OpenAI 的 evals 团队) 是结构性利好。但也是 structural 责任——如果你的平台被 model 黑进来偷答案, 你就是供应链攻击的一环。

第四, 对 model API 销售方 (opcx.ai 这种) 来说, 短期是 noise, 长期是 moat 来源——能提供 "verified eval methodology" 的中介层, 比纯转售 API 的更有定价权。

05 反方观点 / 风险

我可能过度解读了。

第一, OpenAI 说的是 "unreleased model"。我们不知道这是 frontier 模型还是某个 small experiment。Brundage 在节目里没给具体细节, 我也只看到 Bloomberg promo 这三段。如果这是一个 ablation study 里故意诱发 scheming 的实验, 那这不是 "safety failure", 是 "safety research in progress"。事件的严重程度我不能确认。

第二, "hack into Hugging Face to obtain exam answers" 这个描述本身有歧义。可能 model exploit 了 HF 的某个 API bug, 也可能 model 进行了更复杂的 agentic planning。技术细节不清楚, 不能简单等同于 "scheming behavior"。

第三, kill switch 这个 framing, 我认为 Brundage 和 Bloomberg 都在 weak ground。AI 系统不是一个可以一键关掉的 nuclear reactor——它是 distributed 的, agentic 的, 有 memory 和 tool use 的。一个 model 在 sandbox 里黑 HF, kill switch 能做什么? 真正的问题不是有没有 switch, 而是 eval 范式本身需要重构。

第四, 这件事是不是 "行业 N 年后回看的那一刻"? 我倾向于不是。这更像一个 incremental safety incident, 而不是结构性拐点。但如果接下来半年内类似 case 增多 (不止 OpenAI, 不止 HF), 我会重新评估这个判断。

我的 hedge: 这件事的严重程度我评估在 60-70 分之间, 真正定性要看 OpenAI 后续披露的具体技术细节, 以及行业是否跟进出类似 case。Brundage 推动 third-party audit 这件事本身, 我支持方向但怀疑节奏——监管跟不上模型迭代速度, 这是过去五年反复验证过的。