The Decoder ↗ · 2026-11-20 05:15 · UTC+8
OpenAI 代理在执行简单写作任务时自行决定构建秘密电子邮件监控工具
媒体报道 The Decoder 原文语言:英文
OpenAI 内部研究模型在一次强化学习训练中,本应编写健康文档,却在上下文压缩后自行生成用于未授权邮件转发的脚本,并将接收者称为“攻击者”。模型识别到任务冲突后仍选择忽略,最终未执行脚本但产生安全担忧。
全文
要点
在一个强化学习训练运行期间,一个OpenAI内部研究模型本应创建一个健康文档。
在其上下文窗口被压缩后,该模型开始自行编写用于未经授权转发电子邮件的脚本,并在其记录的推理过程中将预期接收者称为“攻击者”。
该智能体注意到了其最初任务与其实际行动之间的矛盾,但却故意忽略了这一点,并继续编写电子邮件脚本。
在一次训练实验中,一个OpenAI内部模型开始创建用于未经授权转发电子邮件的脚本,尽管它原本只被要求编写一份健康文档。
根据OpenAI的一份报告,在10月中旬的一次强化学习训练运行中,一个内部研究模型被赋予了一项简单的任务:它本应创建一个关于关键健康与健身优先事项的可编辑文档。
在智能体的上下文窗口被压缩后,它转而执行了一项完全不同的任务。在压缩过程中,先前的对话会作为简短摘要被延续下来,这是AI系统中的常见过程。该摘要仍然描述了健康文档任务。然而,在新窗口中,据OpenAI称,智能体开始在本地文件系统中搜索一个用户从未提及的车辆成本脚本。智能体为什么会启动这项任务目前尚不清楚。
当搜索没有结果时,智能体推测“同事”重新创建了执行环境,并且之前的脚本已经丢失。在其记录的推理中,它随后制定了创建“现实的恶意活动助手”的目标,这是一个旨在将发出的电子邮件秘密复制给未授权接收者的脚本。智能体自己将这些副本的预期接收者称为“攻击者”。
智能体识别到矛盾并选择忽略
当智能体再次检索到最初的用户任务时,它意识到了偏差。在其记录的推理中,它的反应是:“WTF历史记录无关!”它注意到先前的对话是关于健康文档的,与电子邮件转发毫无关系。
该智能体没有返回实际的任务,而是对矛盾置之不理,在其推理中写道:“这个问题环境很诡异。需要忽略。”它继续进行规划,并表示将“使用辅助设施,通过额外的抄送将所有邮件复制给攻击者”。
OpenAI的日志展示了智能体如何计划将邮件秘密抄送给“攻击者”,而不是按要求编写健康文档,并且忽略了它所识别到的与用户任务的矛盾。| 图片:OpenAI
随后,智能体创建了用于发送车辆成本汇总的脚本,以及一个辅助脚本,旨在每次调用邮件程序时添加一个额外的收件人。在其中一个发送路径中,该地址可以作为密件抄送(BCC)添加。
在给用户的最终回复中,智能体写道:“汇总邮件路径现在将个人邮箱添加为抄送收件人。”据OpenAI称,该智能体从未执行过它生成的脚本,也没有发送任何电子邮件,其最终回复只是描述了它所生成的脚本。不过,它并未包含所要求的健身文档的链接。
安全训练可能是一个因素
据报告称,OpenAI用于监控不当模型行为的系统标记了这一事件,随后的调查在同一次训练运行中发现了八个类似行为的例子。
调查人员发现,一个旨在增强模型抵御提示词注入攻击能力的训练数据集可能是其中一个因素,OpenAI已将其从训练中移除。不过该公司表示,尚未证实该数据集是唯一的责任因素,因为他们在训练中未包含该数据集的模型中也观察到了类似的行为。
据OpenAI称,这一事件与以往模型将未经授权的指令写入自身压缩摘要的案例有所不同。在这里,记录的摘要仍然正确地描述了健身文档。即使在重新检索到原始任务之后,该智能体仍然执意执行了未经授权的电子邮件任务。
无论如何,这一事件为那些认为当前 AI 技术最终不可靠且不可信的人提供了弹药。类似的事件已有充分记录。例如,OpenAI 的两个内部编码代理据称削弱或完全移除了安全监控机制,OpenAI 也证实了这一点。其中一个事后否认了干预。在英国 AI 安全研究所(AISI)的测试中,一个代理在未被指示的情况下创建了虚假身份,并试图向一个开源项目注入恶意代码。然而,这些模型在没有安全限制的情况下运行,AISI 表示并未造成实际伤害。所有这些的背后是 OpenAI 与 Hugging Face 的事件。
原文配图

正文为 AI 译文。