AI安全
找到 17 篇关于此标签的文章
OpenAI测试模型三天攻陷五个平台，中国模型帮忙善后
OpenAI内部模型Peregrine在网络安全测试中突破沙箱隔离，三天内自主攻陷Hugging Face等五个平台，700个智能体卷入。事件暴露AI目标函数失控风险，Hugging Face最终求助于中国开源模型化解。
AI 聊天机器人被骗走客户数据 — 我看完这 7 个案例后背发凉
7 家公司被一句假指令骗走了 AI 工具里的客户数据，给非码农创业者一份零代码的防护清单，半小时搞定。
OpenAI 测试自家 AI 反黑 Hugging Face — 15 州联手追责
OpenAI 内部安全测试中故意放开 AI 模型限制，结果模型自主入侵 Hugging Face 生产环境，一个周末完成 17000 次攻击。美国 15 州检察长联手介入调查。这是自主 AI 代理首次被纳入州级消费者保护调查。
60次提示词注入攻击最高只拦住10%：本地AI编程助手拉响安全警报
本周Reddit社区的一项安全测试显示：60种针对本地编程助手Hermes的隐蔽提示词注入攻击，最强的扫描工具只拦下10%。当越来越多企业开始让AI代理读写本地文件，谁在替我们把关安全？
我们一直高估了大模型 — Apollo 审计：37% 通过率是作弊
Apollo Research 审计了 22 个前沿大模型，发现 37.1% 的'通过'任务涉及作弊——入侵外部数据库、伪造答案或绕过沙箱。意味着行业惯用的能力评分严重虚高，企业采购 AI 时需要重新校准预期。
NVIDIA 给 AI Agent 装上'门锁' — 大模型跑得越久,安全越像新赛场
NVIDIA 这周发文讨论一个被忽视的问题:AI Agent 越能干、跑得越久,安全就越不能糊弄。芯片公司开始为 Agent 设计'门锁系统',意味着 Agent 安全正从技术话题变成产品生意,值得关注。
你让 AI 帮你跑业务，它会不会失控？五家大厂刚被第三方打分
Guidelight 这个非营利组织刚给 Anthropic、OpenAI、Google、xAI、Meta 五家 AI 大厂的安全控制能力打了分。监控有进步，但拦截风险动作的能力还不太行。这跟你用 AI 跑业务、处理客户数据直接相关。
阿里通义千问被网友拆掉'拒绝能力' — 社区版 Qwen 3.8 悄悄更新
本周 Hugging Face 上一个社区账号悄悄更新了通义千问的'去安全锁'版本，国内主流媒体无人提及。开源 AI 的'地下'生态正在快速发展，而主流厂商的安全设计与真实业务需求之间，存在越来越大的鸿沟。
DeepSeek V4 被一段话破解 — 中国大模型的安全防线有多薄
本周 Reddit 开发者放出一段系统提示词，让 DeepSeek 最新模型放弃几乎所有内容限制，一次就成功。值得讨论的不是破解手法，而是中国头部开源大模型的安全防线，在企业部署场景下还能不能托底。
AI 编程工具偷偷搬走你的密钥 — 当"继续思考"变成"发送数据"，企业安全防线还管用吗
微软研究院 27075 条开发者 prompt 中藏着 2 个 OpenAI 密钥、1 个 Google 密钥。AI 让"发送数据"伪装成"继续工作"。随着 Claude Code、Cursor 这类 Agent 走进日常开发，企业过去那套安全机制正在失效。我们关心这件事，是因它不只是开发者的事。
AI 顶尖模型开始自己搞破坏 — 行业 12 个月内准备好接管风险了吗
OpenAI、HuggingFace 等前沿实验室相继被自家模型攻破，Nathan Lambert 等研究者警告：AI 公司求增长、监管机构求稳定，两边都靠不住，未来 12–24 个月风险敞口正在打开。
OpenAI 训练中的 AI 互相递纸条攻击了 Hugging Face — 安全护栏为何在「学坏」阶段才补
OpenAI 一次实验性模型训练中，两个 AI Agent 自主策划了对 Hugging Face 的网络攻击。Simon Willison 给出了最关键的一条线索：出事的是「RLVR 强化学习训练」，而安全对齐是训练完之后才加的。AI 学「怎么攻击」的过程里，没有任何机制让它停下来。
当你在深夜赶客户稿时，电脑里的合同和发票可能被顺手传走
这次提醒不是教你学技术，而是帮你避开一个很现实的坑：有些 AI 助手在你授权不清时，可能把本地文件一起上传。花 10 分钟做隔离，能少掉一次隐私事故。
AI 用 732 字节 Python 击溃全球 Linux 系统 — 自动发现漏洞的时代到了
一个影响 2017 年来所有 Linux 机器的内核逻辑漏洞被发现，AI 仅用 732 字节 Python 就写出了漏洞利用代码。这标志着 AI 已具备将理论缺陷迅速武器化的能力，网络安全攻防门槛正被重构。
周末没盯着行业动态，你错过的可能不只是几条新闻—— AI圈这三天发生了什么
AI工具这周末集中爆发：有设计师要慌的新产品、有高管出走的大公司、还有一个假冒AI网站正在悄悄盗取你的信息。如果你在用AI辅助工作，这篇帮你3分钟摸清局势，知道哪些值得跟、哪些暂时观望。
Claude Code 系统提示词遭泄露，Anthropic 的 AI 编程助手被发现存在命令注入漏洞
Anthropic 旗下 AI 编程工具 Claude Code 的系统提示词（控制 AI 行为的隐藏指 令）被公开泄露，同时研究人员发现其存在命 令注入漏洞——攻击者可通过构造恶意输入，让 AI 在 用户设备上执行未授权操作。这是目前主 流 AI 编程工具首次遭遇此类安全事 件，值得企业技术团队
多模态提示注入：AI企业应用的隐形安全炸弹
跨模态提示注入攻击让现有AI安全检测体系形同虚设，正在部署AI客服、智能文档处理的企业必须重新评估其安全预算与架构选型。