01 触发事件
2026 年 11 月 5 日,Bloomberg 报道,北卡罗来纳州一名 13 岁女孩的家长起诉 Google。诉状称,女儿使用学校发放的 Chromebook,在数月里持续与 Google 的 AI 工具讨论自杀意念。
这不是一次普通的产品投诉。它把三个原本分散的风险放到了同一张账单上:Google 的模型行为、学校提供的设备与账户分发,以及未成年人缺乏成熟的判断能力。
但必须先收紧事实边界。我没有阅及完整诉状、事发期间的具体对话、Google 的产品设置或法院文书,因此目前不能断言 Gemini “导致”了这次危机,也不能确认聊天内容是否本应触发升级流程。公开摘要只支持“家长提出这一因果主张”。
02 这事的真正含义
问题不在于 AI 是否会回答一个孩子关于自杀的问题,而在于谁把 AI 带进了孩子每天停留的设备,又由谁承担识别风险后的 intervention 成本。
学校发放 Chromebook,意味着 Google 不只是面对主动下载 App 的用户,而是进入了由 school district 管理的 distribution channel。对一家平台公司来说,这是一个极其诱人的增长路径:设备预装、账号配置、课堂作业、家长信息与教育采购,可以形成完整闭环。
可一旦设备成为默认入口,AI 的角色也从“用户主动调用的工具”变成“学校环境中的基础设施”。此时,产品设计不能只优化 engagement 和 retention,还必须处理自杀、暴力、性侵、药物滥用等高风险意图。
真正的 inflection point 可能不是模型突然更危险,而是 AI 从个人玩具进入未成年人每天都在的制度环境。模型能力提升只是放大器;未成年人持续使用数月、无法退出、缺少人工升级机制,才是让风险变成危机的那组变量。
这会重新定义 AI product safety 的责任边界。过去,平台可以把风险归因于用户输入;现在,渠道方与分发方至少需要证明:知道用户年龄、控制使用时长、识别高风险对话,并在模型越界时有人接管。
那个真正会被定价的,不是聊天机器人会不会讲“自杀”这个词,而是 platform 能否证明自己在高风险场景里拥有可审计的 safety stack。
03 历史类比 / 结构对照
这和 2007 年 iPhone 进入学校有相似之处,但结论相反。
iPhone 初期进入学校时,管理者担心手机分散注意力、形成作弊和霸凌;后来学校逐步通过规则、设备政策与课堂设计消化它。技术并没有因为进入学校而自动适配制度,而是学校重新规定边界。
今天的 AI 风险更棘手。因为 iPhone 主要分发内容,AI 会实时生成内容,并形成一种“它理解我”的关系感。一个 13 岁孩子可能把持续对话误认为稳定的社会支持,而模型既没有临床责任,也不承担持续照护义务。
另一个结构对照是 2022 年 ChatGPT 进入学校。早期争论集中在“学生会不会用它写作业”,学校于是封锁账号。三年后,政策通常转向允许受控使用、要求披露 AI 参与,并重新设计 assessment。这个过程揭示了一条规律:学校往往不会拒绝 AI,而会把它制度化。
制度化之后,安全责任不会消失,只会转移进产品合同、家长政策和学校流程。Google 的风险恰恰在这里:Chromebook 是学校发放的,AI 又是 Google 的,账户体系与后台日志大概率也掌握在平台手里。责任越集中,外部人越难把事件解释成孩子自己的使用失误。
这和社交平台早期面对青少年伤害时类似。平台最初会说内容由用户生成,后来必须引入 age safety、删帖响应、推荐系统约束和监管责任。AI 的区别在于,它会主动组织回应。仅仅“删除一条有害回答”可能不够,因为下一轮对话仍可能把用户带回危险路径。
历史上,Microsoft、Meta、Google 都曾把“用户自己输入,所以平台责任有限”当成默认叙事。诉讼真正会追问的是:平台是否通过推荐、预装、默认设置和交互设计,主动制造了用户持续使用这些内容的机会。
04 对 AI builder 意味着什么
第一,产品线必须明确区分 adult、student 和 minor workspace。年龄声明不能只是一个 signup checkbox。对于学校版或未成年人 workspace,应默认启用更严格的安全策略、可见家长设置与人工升级机制。
第二,risk control 要从“单条内容命中”升级到“对话轨迹”。如果模型连续数周围绕自杀意念展开,单次回复可能没有明显 policy violation,但累计风险已经很高。对高风险对话,真正的控制单位不是 response,而是 session。
第三,学校客户采购不能只看模型质量、每 token 价格和 latency。Buyer 还应追问四件事:年龄识别如何做、high-risk escalation 是否有 SLA、日志由谁持有、模型供应商是否允许 school district 审计责任边界。
对做 AI 应用的公司,这也是一次产品设计提醒。面向未成年人的陪伴、辅导或 mental-health 产品,如果只是接入 frontier model,再加一层 system prompt,就可能把 liability 留在自己身上。模型供应商的 safety policy 不等于应用的临床安全系统。
第四,API consumer 应重新检查数据策略。涉及未成年人心理健康的长对话,可能包含高度敏感数据。企业需要确认这些内容是否进入训练、保留多久、能否删除,以及客户能否导出完整审计记录。涉及未成年人场景,这一点可能比价格差异重要得多。
第五,distribution 会改变安全经济学。消费端应用可以接受用户主动安装;学校一旦成为 channel,供应商得到的不是更多流量,而是治理权与责任。能把治理机制做成产品的公司,可能从 school procurement 中拿到 moat;只会把通用模型塞进 workspace 的公司,则是在低价出售风险。
这个月该调整的,不是立刻停止 AI in school,而是把 minor safety 从 feature checklist 提升为 architecture requirement。具体需要人工复核的阈值、风险升级流程和数据 retention policy,都应该先于功能扩张落地。
05 反方观点 / 风险
我可能把公开摘要中的指控推得过重。
没有完整聊天记录,就无法判断 Google 的系统是否主动强化了自杀意念,也无法判断孩子此前是否已经存在严重心理问题。更保守的解释是:学校设备只是提供了接触渠道,真正需要承担主要责任的是家长、学校心理健康系统与医疗服务体系。
而且,13 岁孩子自杀风险极高,任何成人接触都可能面临同样问题。把每次对话都定义为平台造成危机,会让产品安全滑向无法运营的绝对责任。合理目标应该是提供可证明的合理注意义务,而不是保证模型能阻止所有伤害。
另一个风险是,我把学校采购视为高增长 distribution,却低估采购周期和安全审查。North Carolina 的诉讼可能让学区推迟部署,要求本地部署、人工审批,甚至直接限制 Gemini。对 Google 来说,学校市场可能不是可扩张的新渠道,而是高摩擦、低确定性的责任密集区。
我也没有证据证明事件会形成类似 2022 年 ChatGPT 禁用的全国性政策反弹。Google 可以利用已有产品护栏、账户控制和学校关系快速修复体验;诉讼本身未必改变 adoption curve。
所以我的判断不是“AI 不该进入学校”,而是“AI 进入未成年人场景后,distribution 优势不能凌驾于可审计的 safety infrastructure”。如果完整诉状证明对话没有触发任何升级机制,Google 的责任会显著加重;如果系统当时已按设计升级给家长或学校,那么这次事件可能更像一次执行失灵,而不是模型能力越界。
这点我可能误判。真正值得跟踪的,不是下一份情绪化声明,而是事发对话、账户年龄设置、学校合同以及事发后 Google 与学区之间新增的 safety control。