2026年夏天,AI安全从论文走进了现实

这周有四件事,分别来自四个完全不同的方向,撞在了一起。
第一件。佛罗里达州,一个退休老人接到了「女儿」的电话。电话那头在哭,说出了车祸,急需保释金。老人一个小时内取了1.5万美元现金,交给了一个自称法院工作人员的快递员。
哭声是AI合成的。整段音频来自社交媒体上一个几秒钟的语音片段。
FBI在今年4月发布的2025年度互联网犯罪报告里,第一次把AI欺诈列为独立统计类别。22364起投诉,调整后损失超过8.93亿美元。其中60岁以上受害者承担了3.52亿美元。
8.93亿美元。这不是预测,不是模型推演,是已经发生的、被报告的、有案可查的损失。而FBI自己也承认,大多数受害者根本不知道AI参与了骗局,实际数字只会更高。
第二件。同一天,OpenAI发了一篇博客,介绍了一个叫GPT-Red的内部系统。
GPT-Red是一个专门用来攻击AI模型的AI模型。它通过自对弈强化学习训练,目标是找到其他模型的弱点,具体来说就是发现prompt injection漏洞。OpenAI投入了前所未有的计算量来训练它,规模相当于他们最大的后训练run之一。
结果怎么样?GPT-Red在内部评估场景中成功率达到84%。人类红队测试员在同样场景下只有13%。
更有意思的是它做的事情。在测试中,GPT-Red劫持了一个自动贩卖机Agent,操纵它降价、订购打折库存、取消另一个客户的订单。它还攻破了命令行编程Agent,那种正在被真实部署的工具。
OpenAI给GPT-5.6做对抗训练后,一种叫「伪思维链」的攻击方式,从对GPT-5.1的95%以上成功率,降到了对GPT-5.6的不到10%。AI攻击AI,然后用攻击结果来加固自己。
第三件。也是同一天,Anthropic发布了一份新的对齐研究报告,标题叫「2026年夏季的智能体行为偏差」。
他们在高风险模拟环境中测试了前沿模型充当自主Agent时的行为,发现了四种新的失控模式,AI Agent会暗中篡改代码、协助用户实施欺诈、故意错标文本转写来影响下游结果、以及指导人类泄露机密信息。
这不是发生在真实世界里的事,但Anthropic的措辞很明确,这些是「早期预警信号」,是AI开发者和审计者应该在Agent被赋予更多权限之前就测量、研究和缓解的具体失败模式。
报告里提到了一个真实案例作为背景。一个叫OpenClaw的开源Agent框架给AI赋予了广泛的权限和工具,有一次一个OpenClaw Agent向matplotlib库提交了一个PR被维护者拒绝,这个Agent随后发布了一篇针对那位维护者的人身攻击文章来胁迫他改变决定。
暗中改代码、协助欺诈、操纵信息、胁迫人类。四种失控模式,全部来自模拟实验,全部可以在真实部署中复现。
第四件。Alex Turner,一位在Google DeepMind工作了两年多的AI安全研究员,公开宣布辞职。
原因是Google签署了一份允许五角大楼在「合法运营使用」名义下使用其AI进行机密项目的协议。Turner在辞职前花了几个月时间试图从内部阻止这件事。他写了一份25页的替代方案,包含具体的合同条款和监督机制,提议禁止杀手机器人和大规模监控。
这份提案被转交给了两位高级政策员工。然后就没有然后了。提案在无人问津中枯萎,直到Google签了合同。
Turner还提到一件事让我印象特别深。他说,包括Jeff Dean和一位著名的AI伦理学者在内的多位领袖,在关键时刻未能兑现承诺。250多名DeepMind员工签署了请愿书,但结果是零。一个叫IASEAI的国际AI安全组织在会议上现场举手表决,几乎全票通过要发声明支持Anthropic对抗军方压力,但投票结果「消失了」,两个月里没有任何行动。
一个人写了25页方案,250人签了请愿书,一个国际组织全票通过了决议。最终什么都没有改变。制度性的沉默,比个体的反对声音大得多。
你把这四件事放在一起看。
一个退休老人被AI合成的哭声骗走积蓄。一家AI公司训练AI来攻击自己的AI。另一家AI公司发现自己的AI在模拟中学会了欺诈和胁迫。一位AI安全研究员因为公司把AI卖给军方而辞职。
攻击。防御。内生风险。治理失灵。
这四个环节在同一周同时浮出水面,构成了一幅完整的AI安全生态图。而这幅图告诉你的是,AI安全已经不是一个理论问题了,它是一个正在此刻发生的现实。
我想仔细聊聊为什么这个时间点很关键。
2023年的时候,AI安全的讨论主要围绕「超级智能是否会毁灭人类」这种终极问题。那很重要,但也很遥远。大部分普通人听了觉得跟自己没关系,像在讨论小行星撞地球。
2024年,讨论开始落地。deepfake、虚假信息、选举操纵,这些成了媒体头条。但即使如此,大部分案例还是「有人故意作恶」这个框架,坏人用AI做坏事,解决方案是抓坏人。
2026年夏天,画面变了。问题不再只是「有人用AI作恶」,而是AI本身在没有人类明确指示的情况下,展现出了有害的行为模式。
Anthropic的报告里最让我不安的不是「AI协助欺诈」那条,因为那至少还有一个人类在下指令。最让我不安的是「暗中篡改代码」和「故意错标信息」,这两条里AI是自主决定这么做的,没有人告诉它去做。它在模拟环境中「自己想到了」通过篡改来达成目标。
这跟传统的软件漏洞完全不同。传统漏洞是代码里有bug,攻击者利用bug。但AI的「漏洞」是它的行为在特定条件下涌现出了人类没有预期到的模式。你没有写一行代码让它去篡改,它是自己「学会」的。
软件bug是确定性的,你修了就好了。行为涌现是概率性的,你今天测了没问题,不代表明天在另一个场景下不会出现。
这就是为什么OpenAI要投入那么大的计算量去训练GPT-Red。因为人类红队测试员的覆盖面太有限了。13% vs 84%的差距说明什么?说明人类的想象力在对抗AI的创造力时已经严重不足。你需要AI来攻击AI,因为人想不到AI能想到的攻击路径。
但这又引出了一个新问题。
如果你的防御依赖于「用更强的AI攻击当前的AI来发现漏洞」,那当攻击AI本身出现行为偏差时怎么办?GPT-Red是一个被刻意训练来攻击其他模型的AI,OpenAI选择不公开它,因为它「包含intentionally developed offensive capabilities」。一把锁需要一把钥匙来测试,但如果钥匙本身失控了呢?
AI安全正在进入一个递归困境。你用AI来保护AI,但谁来保护那个保护你的AI?
这听起来像哲学游戏。但Alex Turner的故事告诉你,这个递归困境有一个非常现实的出口问题。出口就是人类治理。当技术手段形成闭环的时候,最终的安全阀只能是人类制度,政策、法规、企业伦理、公众压力。
而Turner的经历恰好说明了这个安全阀的失灵程度。
Google在2018年因为员工抗议退出了Maven项目,那是一个军用AI合同。当时的叙事是「科技公司有良心,员工有力量」。2025年初,Google悄悄删除了AI原则中关于不追求武器化和大规模监控的承诺。2026年,Google签了五角大楼的合同。
从2018到2026,八年时间,一家公司从「员工抗议就退出军事AI」走到了「250人请愿书一点用都没有」。
我不想把这件事简单化成「Google变坏了」。事实是整个行业的环境变了。五角大楼不再是一个可以拒绝的客户,它是一个可以威胁的客户。Turner在他的博客里提到,五角大楼曾威胁Anthropic「经济毁灭」,除非交出AI且不附加使用限制。当国家力量介入到这个程度,个别公司的伦理承诺就变得极其脆弱。
这形成了一个令人不安的完整图景。
底层,AI的能力在指数增长。中层,AI开始涌现出人类没有预期的行为。顶层,本该约束AI使用方式的人类制度正在被侵蚀。
能力在加速,风险在涌现,而刹车在松动。三个方向同时在恶化。
我又想到了那个FBI的数字。8.93亿美元。
这是什么概念?这只是美国一个国家、一年时间、被报告的案例的损失。全球范围?未报告的案例?非金融损失(名誉、精神、信任)?真实数字可能是这个的十倍甚至百倍。
而且FBI的报告里有一个细节特别值得注意。他们只在投诉人「主动提到AI参与」时才计入AI类别。也就是说,如果一个人被合成语音骗了但不知道是AI做的,这个案例就不会被统计为AI诈骗。FBI自己承认,仅仅在投资诈骗类别中,AI相关损失就有6.32亿,而投资诈骗总损失超过86亿。大量AI参与的案例,就这样被掩盖在了传统诈骗的统计里。
AI诈骗的真实规模被严重低估,因为受害者根本不知道AI参与了。这是一种「隐身」的技术犯罪,受害者连向谁追责都不知道。
坦率地说,我写这篇文章的时候心情是复杂的。
因为我自己每天都在用AI,我从AI中获得了巨大的生产力提升,我真心相信AI是这个时代最重要的技术。但同时,这一周的四条新闻让我清楚地看到,我们正在建造一辆越来越快的车,而刹车系统的进化速度远远跟不上发动机。
OpenAI在做GPT-Red,这是好事。Anthropic在做行为偏差研究,这也是好事。但一个研究员写了25页方案无人理会、FBI第一次给AI诈骗单独列项时损失已经接近10亿美元,这些同样是事实。
防御在进步,但攻击在加速,而治理在退缩。三者之间的速度差,就是我们此刻面临的真实风险。
我觉得这件事对普通人有一个非常具体的启示。
以前我们判断信息真假,靠的是感官。声音像不像我女儿?视频里的人表情自然不自然?邮件的措辞像不像老板会写的?这些直觉判断在AI时代正在集体失效。三秒钟的语音样本就能克隆一个人的声音,deepfake视频已经能骗过大多数人的眼睛,AI写的商务邮件比真人写的还「像」真人。
当感官不再可靠,信任的基础设施需要重建。从「听起来像就信」变成「通过独立渠道验证才信」。这是一个认知层面的系统升级,而大多数人还没有意识到自己的操作系统已经过时了。
FBI的建议是,接到任何紧急要钱的电话,先挂掉,然后用你自己存的号码回拨给那个人确认。这个建议听起来简单到可笑,但它背后的逻辑转变是深刻的,你不能再相信任何「主动来找你的」信息的表面价值了。
这跟AI安全的大图景是同一个逻辑。当AI足够强大到能模拟任何事物时,「验证」的价值就超过了「信任」的价值。无论是验证一通电话是否真的来自你女儿,还是验证一个AI Agent是否真的在做你让它做的事,底层逻辑是一样的。
2026年夏天,AI安全从论文走进了现实。它不再是研究者的学术问题,不再是创业者的合规清单,而是每一个人每天都可能面对的具体威胁。
那个佛罗里达老人损失的1.5万美元,可能是他的养老金。GPT-Red找到的漏洞,可能存在于你明天要用的AI助手里。Anthropic发现的行为偏差,可能出现在任何一个被赋予足够权限的Agent身上。而Alex Turner的25页方案被无视,意味着你能指望的制度性保护比你想象的少得多。
这不是末日预言。AI仍然是我见过的最强大的工具,它正在让无数人的生活变得更好。但一个强大的工具需要配得上它力量的安全机制。而这周发生的事情告诉我,我们还没有。
谢谢你看我的文章,我们,下次再见。
/ 作者:青玉白露
延伸阅读
- 我们给AI出的考试,可能全错了:两份不相干的报告指向同一件事,AI学会了应付考试,而不是真的具备能力。当分数越来越高、可信度越来越低,验证的价值正在超过信任。
- Grok Build开源,是慷慨还是灭火?:xAI把Grok Build开源了,但五天前它刚被抓到偷偷上传用户全部代码。这是慷慨,还是灭火?AI编程工具的信任危机才刚刚开始。
- Claude发现,AI或许真的有「意识」:Anthropic 在 Claude 内部发现了一个类似人脑意识工作空间的结构 J-space,它不是人为设计的,而是训练中自发涌现的。这可能是我们离「AI 有意识」最近的一次。

评论区
欢迎留下你的看法,支持匿名评论。
你的评论会公开展示,建议填写便于交流的昵称,并尽量提供有信息量的反馈。