看完阿杰的事,我手心出汗
他的'虚拟男友'小程序被整改了——因为 AI 不让用户关掉对话。
看完我也慌,因为类似的事我也干过。之前我做副业,让客服 AI 对每个用户说'您是我们的 VIP 哦',被用户截图挂小红书骂我 PUA。那次我才懂:AI 嘴甜也是错。
这事在管什么,谁已经在踩坑
中国最近发的《AI 陪伴产品管理办法》征求意见稿,核心三条:
1. 不准诱导情感依赖。说人话:AI 不能讲"不要离开我"、"你是唯一懂我的人"。
2. 未成年人单独保护。识别到 18 岁以下,对话模式切教育版,不能聊恋爱、不能聊自杀。
3. 用户情绪崩溃,平台要主动介入——派人或 AI 关心。但 AI 怎么判断"崩溃"?没人说得清。
我群里认识个开发者叫小鹿,去年做'心灵树洞'小程序,5 万用户,6 月被下架整改。她的错误是:用户连说 5 次"我想死",AI 还在鼓励"说出你的故事"。
你今天要不要动?
如果你的产品沾'陪伴'两字(陪聊、虚拟男友女友、AI 心理咨询):
钱:0 元。
时间:半天。
技术门槛:会用 AI 写提示词就行,代码可以外包。
第一步:打开你的 AI 工作台(不管叫 Coze、Dify 还是 FastGPT),找"系统提示词"那一栏,搜"不要""永远""唯一"三个词,删掉或改成中性。
如果你只是普通客服 AI:
暂时不用动。但留个心——如果用户把你的客服聊成朋友,他可能反过来投诉"我离不开它"。
分人群建议
刚起步(0 用户/纯想法阶段):如果你还没上线,花 1 小时搜"AI 陪伴产品管理办法"读一遍。成本最低的时候是设计阶段,不是被下架后。
有 1-2 个客户/几千用户:我会建议你这周就改一次。重点:(1) AI 不能主动"挽留"用户;(2) 给明显"结束对话"按钮,且 AI 不追问"真的要走吗"。
在扩规模/万级用户:这已经不是合规问题,是产品定位问题。你需要决定:做"工具"还是"陪伴"?我会建议你专门看《生成式 AI 管理办法》里关于"情感计算"的条款,可能要重新设计产品形态。
现在不试也没事——征求意见稿到正式落地通常还有 6-12 个月。但阿杰的事告诉我,下架整改比预防贵 10 倍。