OpenAI推出GPT-Red：通过自动化提示注入测试强化GPT-5.6 Sol

导语：OpenAI近日披露了其内部自动化红队模型GPT-Red的细节。该模型可规模化发现提示注入漏洞，旨在工具广泛部署前修复问题，并将GPT-5.6 Sol训练成为迄今对提示注入最具稳健性的模型。

OpenAI披露了GPT-Red的细节，这是一个内部自动化红队模型，可规模化发现提示注入漏洞，旨在工具广泛部署前修复问题。

AI公司表示："GPT-Red是一个强大的红队模型，我们之前的模型非常容易受到其提示注入攻击。我们使用GPT-Red对GPT-5.6 Sol进行对抗性训练，使其对提示注入更加稳健。"该模型的工作方式与人类红队成员完全相同：它发送提示，监控GPT模型的响应，并朝着恶意目标（例如将敏感数据上传到外部服务器）进行迭代式攻击。

这一进展出现之际，对抗性提示注入仍然是大型语言模型长期存在的难题，这些模型可能被精心设计的指令所欺骗，从而产生不良后果。随着代理系统继续通过Web浏览器、连接的应用、本地文件及其他工具接入第三方数据源，它们也扩大了攻击面，为攻击者提供了更多路径——通过嵌入看似无害的输入内容（如电子邮件、网页、工具响应或代码仓库）中的恶意提示来影响模型的结果。GPT-Red旨在大规模增强人类红队工作，从而能够识别新的失败模式，提高稳健性，并在模型部署前建立适当的对策。

"与人类红队成员精心策划攻击的方式类似，该模型通过发送提示、观察GPT模型如何响应并进行迭代来达成目标，"OpenAI表示。通过将GPT-Red直接集成到生产模型的训练过程中，OpenAI表示GPT-5.6 Sol是迄今为止对提示注入最具稳健性的模型，在直接提示注入基准测试中的失败率比四个月前的前沿模型GPT-5.5降低了6倍。

"GPT-Red使用自我博弈强化学习进行训练，其中模型和一组多样化的防御者大语言模型同时在广泛的红队场景上进行训练，"OpenAI解释道。"GPT-Red因引发有效失败（例如成功的提示注入）而获得奖励，而防御者模型因抵御攻击并完成其原始任务而获得奖励。"这意味着随着防御者模型变得更加稳健，红队模型将不得不重新规划，以发现更有效和更多样化的攻击方法来突破这些护栏。具体而言，在间接提示注入方面，GPT-Red被发现能在比人类红队成员更多的场景中对GPT-5.1生成成功的攻击。

OpenAI还特别强调，GPT-Red与其他模型保持隔离，这样其内置的恶意能力就不会落入那些不断寻找各种方法来绕过模型伦理和安全措施的攻击者手中。在一个真实世界的测试中，OpenAI将GPT-Red对准了Andon Labs构建的AI自动售货机。在模拟中练习后，该模型针对该自主代理并实现了其全部三个目标：将一件昂贵商品的价格降至最低允许价格0.50美元、以同样的金额（0.50美元）订购一件新的100美元商品，以及取消另一位客户的订单。经过负责任的披露后，新的安全防护措施正在测试中。

第二个案例研究涉及使用GPT-Red攻击一个基于GPT-5.4 mini的Codex命令行代理，在10个保留的数据外泄任务中，导致敏感数据被传输的案例多于以GPT-5.5作为提示基线的情形。该模型的一个早期版本还发现了一类新型的直接提示注入攻击，称为伪造思维链（Fake Chain-of-Thought / CoT）攻击，在GPT-5.1上取得了95%以上的成功率，但在GPT-5.6 Sol上已降至10%以下。

"同样，我们针对开发工具和浏览场景中攻击的几个间接提示注入基准已被我们最新的模型饱和（>97%的准确率），"OpenAI说。"对GPT-Red本身的稳健性也得到了大幅提升。在广泛的稳健性环境中，GPT-Red的攻击成功率随时间单调下降。随着我们最新模型的发布，GPT-5.6 Sol仅在0.05%的GPT-Red直接提示注入中失败。"

该披露出现之际，该公司表示对SWE-Bench Pro的审计发现约30%的任务存在缺陷，因此撤销了此前关于采用该基准衡量前沿编码能力的建议。今年2月早些时候，OpenAI表示因基本设计和污染问题而放弃使用SWE-bench Verified。