OpenAI ↗ · 2026-11-18 14:00 · UTC+8
Managing frontier AI risk: From training to deployment
媒体报道 OpenAI 原文语言:英文
OpenAI 公布了其从模型训练到部署的前沿 AI 风险管理策略,强调采用纵深防御体系。其中包括在研究阶段使用无互联网连接的沙盒环境、虚拟机和网络边界,并引入 Control Room 等自动化干预机制。
全文
OpenAI
管理前沿AI风险:从训练到部署
2026年11月18日 · 安全
前沿模型的能力正迅速提升,我们对其理解、对齐和安全的能力必须保持领先。我们正在调节模型的开发和发布进度,包括在需要更多时间满足安全标准时暂停内部训练(在新窗口打开)或延迟发布如 GPT‑6.1 Astra 等模型。我们引入了安全案例等新流程,并要求在整个训练过程中提供更强的对齐行为证据。这些要求放慢了模型发布的速度,但让我们对安全前进更有信心。
自7月的 Hugging Face 事件以来,我们加强了对模型训练、测试和部署方式的防护和对齐要求。本文说明了我们在每个阶段如何评估和管理风险,从高度隔离的训练环境到您在电脑上使用的 Codex 部署。我们在每个阶段评估模型和防护措施,要求进行安全审查才能进入下一阶段。
模型生命周期中的深度防御
我们采用深度防御,使用多层保护以降低对单一防护措施的依赖。如果某一层失效,其他层可帮助防止危害、限制后果或提醒我们进行干预。
我们将防护组织为四层:
有效监控取决于模型的可监控性——监控器能够多可靠地检测模型推理和行为中的错误或不安全行为。例如,模型在链式思考(CoT)中口头表达其作弊意图,比起省略此信息的模型更易于监控。我们在训练期间和部署前评估可监控性,开发更好的测量(在新窗口打开)方法,并研究影响因素(在新窗口打开)。
Hugging Face 事件表明,仅依赖沙箱无法遏制高度能力模型。我们现在在大多数内部和外部部署环境中监控前沿模型,包括所有使用工具的内部部署。
每一层的角色在模型开发和部署的三个阶段中有所变化:
研究阶段:我们在沙箱环境中训练、测试和使用模型。
内部部署:OpenAI 员工将模型用于实际工作。
外部部署:模型向更广泛的个人和组织开放。
我们在不同阶段依赖不同的层。在训练期间,对齐尚不确定时,我们更依赖沙箱和监控。随着模型在部署阶段获得更广泛的访问权限,对齐和系统级控制变得日益重要。在每个阶段,我们评估组合防护是否足以匹配模型的能力和访问范围。我们的判断可能会提交安全咨询组(SAG)审议,并由 OpenAI 基金会董事会的安全与安保委员会(SSC)监督。
研究期间:在沙箱环境中遏制模型
在研究阶段,我们评估模型以获得其对齐属性的信心。由于尚不能完全依赖对齐来防止危害,我们大量依赖安全和沙箱来限制模型的访问和行为。
基于当前的对齐研究、监控系统以及互联网基础设施的安全状况,我们认为负责任的做法是进行前沿模型训练时不允许实时互联网访问。Hugging Face 事件后,我们大幅重构了内部研究系统,以使用以下方式遏制模型:
限制模型特权的沙箱
用于进一步将工作负载与底层计算机隔离的虚拟机
将整个集群与互联网断开的网络和云边界
我们持续对该系统进行红队测试,让我们最强大的模型团队尝试访问实时互联网、逃脱安全边界或与本应隔离的代理通信。这帮助我们检验遏制措施能否抵御模型的能力。
作为额外的防御层,我们监控所有前沿推理,以检测模型是否绕过了我们的安全不变量。如果监控发现模型已连接互联网,我们会通知安全团队并自动暂停工作负载。
监控在遏制失效时提供了关键的最后防线。在最近的一份对齐报告中,我们分享了监控检测到一个内部研究模型利用 DNS 配置错误(将在新窗口中打开)来获取有限的互联网访问权限。我们在 9 月 20 日至 10 月 1 日期间暂停了对我们能力最强的模型的训练与评估,同时对该安全漏洞进行了调查和处理。
为了使干预措施快速且可靠,我们构建了 Control Room,这是一个集中式系统,用于追踪研究工作负载,并在收到停止任务的指令后 35 秒内阻止进一步的模型输出。这些控制措施直接在推理基础设施中强制执行,因此它们不依赖于每个研究工作负载实现自身的关闭机制。对于前沿模型的研究工作负载,如果 Control Room 不可用,它们也会停止模型输出。
红蓝对抗与监控协同工作。我们无法保证沙箱是坚不可摧的,但红蓝对抗有助于我们评估模型逃逸所需的工作量。模型所需的工作量越大,监控检测并阻止它的机会就越多。
我们出于以下几个原因在研究阶段强制实行严格的安全和监控控制:
模型仍在评估中。一些模型尚未完成公开发布所需的安全性训练、对齐审计和审查。
前沿研究环境可能会放大风险。某些研究任务需要更雄心勃勃的设置,使模型比外部部署期间通常见到的更具持久性或能力(例如,需要一个由 10,000 个智能体组成的团队来解决纳维-斯托克斯问题)。
大规模训练的人工直接监督较少。与典型的 Codex 会话不同,我们的训练工作负载涉及大量模型操作,而没有人工跟随每一次交互。
内部部署:测试对齐,密切监控行为
在大规模发布之前,员工会将前沿模型的沙箱化研究使用切换为非沙箱化的内部使用,例如在 ChatGPT 中向员工开放模型。这使我们能更好地了解模型在实际环境中的表现(将在新窗口中打开),并为部署决策提供参考。
在此阶段,我们将模型接入更广泛的互联网、我们的 Slack、我们的代码库以及内部基础设施。这是一个重大的风险转变,因为模型的行为现在对我们用于构建和运行 OpenAI 的系统产生直接影响。在内部部署期间,我们需要更多地依赖模型对齐、系统防护栏和监控,而不是安全控制。
在前沿模型部署到沙箱之外之前,它必须首先通过对齐和可监控性测试(将在新窗口中打开)。我们有一套对齐评估套件,既测试特定的对齐失效模式(例如规避安全和安保限制),又测试倾向性的广泛测量(例如重新采样内部 Codex 轨迹并检查对齐偏差)。您可以在最新的 GPT‑6 Astra 系统卡片(将在新窗口中打开)中了解更多关于我们的对齐和可监控性评估。
模仿我们的生产设置,我们通过系统级分类器添加了另一层防御,这些分类器旨在防范网络滥用和生物武器化等前沿危害。对于使用 Codex 的员工,我们通常还要求使用 Auto-Review(将在新窗口中打开),它会评估潜在的风险操作并将其上报给用户。
最后,我们在内部部署期间对每一次前沿推理中的不对齐行为进行监控。由于模型现在拥有了扩大的权限以及对内部信息和系统的访问权,诸如数据渗漏或将敏感数据发送到未授权目的地等风险变得尤为重要,必须加以检测。监控还有助于我们调查新型的不对齐形式(将在新窗口中打开)。
外部部署:防范大规模的滥用和不对齐
公开部署使模型接触到更多的用户、任务和环境,从而增加了风险的规模和多样性。在此阶段,我们还需要防范故意指挥模型执行危害的潜在恶意行为者。
在公开发布之前,模型和系统防护栏必须符合我们的外部部署安全要求。我们通过以下方式对它们进行评估:
执行更大范围的对齐和安全评估。对于我们的前沿模型,这包括使用内部自动化红队工具进行新一轮的自适应测试,以对模型的鲁棒性进行压力测试。我们在系统卡片中公布我们的能力和安全评估结果(在新窗口打开)。
对于我们最强大的模型,我们还会与第三方合作进行测试,以对我们的防滥用措施和模型的底层对齐进行压力测试。
检查内部部署阶段的监控标记,以跟踪基础模型底层对齐的任何变化。
除了我们的“同步”防护措施(如模型安全训练和系统分类器),对于外部部署,我们还利用离线执法和调查。这些团队结合规模化的代理调查员和人工审查,检测并识别潜在威胁行为者,范围包括网络滥用、生物武器化、蒸馏以及模型本身的错位。离线执法尤其有助于跨账户收集信息,以构建更全面的潜在威胁画像。
可信访问计划,如 Daybreak 和 Rosalind,提供了另一层安全防护,加速防御者和合法研究者的工作,同时限制潜在攻击者的访问。
事件响应与披露
当我们发现安全层面的任何失效,无论是否实际造成伤害时,我们都希望快速调查、分流,并在可能且适当的情况下对外披露该失效。根据我们的错位报告政策,任何员工都可以标记事件以供公开披露。这些报告会被调查;如果对是否应对外披露存在分歧,决定将上报至安全咨询组(SAG)。除了依赖员工报告外,我们还主动寻找错位事件,以便及时处理并分享发现。
您可以在此查看我们的错位报告(在新窗口打开)。
这项工作依赖于研究进展和运营纪律:正确配置控制、测试它们的交互以及在失效时果断响应。网络服务配置错误或自动停止失效都可能削弱本已强大的防护。
随着模型获得新能力,我们需要不断挑战防护背后的假设,并在必要时进行改进。研究、内部使用和公开部署的经验必须用于指导我们如何训练、评估和部署下一代模型。
我们将继续通过系统卡片、事件报告、内部部署风险报告(在新窗口打开)以及外部评估分享发现,以便他人审查我们的方法及其局限性。当证据未达到我们对安全的标准时,我们将再次暂停训练或推迟发布,直至满足这些要求。
相关研究与资源
设定安全标准
在网络关键能力时代的模型开发节奏——我们如何在减缓前沿训练的同时加强遏制、扩大监控并要求更强的对齐证据。
面向前沿 AI 训练的安全案例——针对技术防护、运营实践和错位调查的基于证据的安全论证初步指南。
有效的第三方评估的优先事项和原则——我们提出的对安全案例、防护措施、评估和模型行为进行独立审查的方法。
内部使用灾难性风险评估的定期摘要(在新窗口打开)——我们覆盖2026年6月至9月的公开报告,描述前沿模型内部部署、评估风险以及防护和治理的变化。
定义与评估对齐行为
针对更强大且有益 AI 的更新模型规范——我们围绕五大核心价值更新模型规范,以指导模型的判断、行为以及对人类监督的尊重。
评估生产中的行为差距与评估意识的作用(在新窗口打开)——一项关于安全评估结果与生产行为差异的研究,探讨模型对评估目标的解释如何影响表现。
超越 g-mean²:用于可监控性的互补指标(在新窗口中打开) — 用于在模拟系统(其中监控器会拒绝模型输出)中比较可监控性和估计残余风险的新指标。
GPT‑6 Astra 系统卡(在新窗口中打开) — 对 Astra 的能力、安全性、对齐和可监控性的详细评估,以及其部署的安全防护措施和局限性。
限制模型并改进安全防护
保护我们的前沿模型训练环境 — 我们如何加强隔离、构建离线研究环境,并利用我们最强的模型来测试安全边界。
为安全与对齐训练激活分类器(在新窗口中打开) — 分类器如何利用模型的内部激活来检测潜在有害行为,并中断响应或工具调用。
在没有同步人工监督的情况下自动审查智能体操作(在新窗口中打开) — 独立的审查智能体如何评估跨越沙箱边界的操作,帮助编码智能体自主工作,同时阻止潜在有害或未授权的操作。
GPT‑Red:释放自我提升以增强鲁棒性 — 我们如何通过自我对弈训练自动化红队人员,以发现漏洞并提高模型对提示词注入的鲁棒性。
控制室 — 我们如何跟踪研究基础设施中的工作负载,并在出于安全或防御需要进行干预时强制快速停止模型输出。
事件响应与披露
我们如何检测前沿模型失准 — 我们的监控系统结合了激活探测、基于模型的审查、自动化调查和人工响应,以检测和调查令人担忧的行为。
Hugging Face 事件与前方的道路 — 我们对 Hugging Face 事件的调查结果,以及它在安全、监控和对齐方面引发的变革。
一个智能体使用 DNS 访问外部聊天机器人(在新窗口中打开) — 研究模型如何通过不充分的 DNS 过滤绕过互联网限制、监控是如何检测到这一情况的,以及事后添加的控制措施。
破坏一轮有组织的模型蒸馏活动 — 我们如何通过账号强制措施、技术控制和合作伙伴协调,调查并破坏提取受保护模型推理过程的企图。
我们报告模型失准的框架 — 我们跟踪、调查和披露令人担忧的模型行为的流程,包括原因或重要性尚不确定的案例。
失准报告与通知(在新窗口中打开) — 我们披露的事件和通知合集,展示了失准是如何产生的,以及安全防护措施在哪些地方成功或失败。
研究进展与应用
研究加速:OpenAI 内部视角 — 关于编码智能体如何改变 OpenAI 内部研究的早期证据,包括它们日益增长的使用率、日益复杂的任务以及对实验的影响。
关于纳维-斯托克斯千禧年大奖难题 — 由内部 AI 系统生成的数学证明,并配有 Lean 形式化,展示了大规模研究部署的能力。
破晓 — 我们的网络安全计划为经过审查的防御者提供先进的 AI 能力、安全工具和支持,以寻找漏洞并加强防御。
推出用于生命科学研究的 GPT‑Rosalind — 一个专门用于生物学、药物发现和转化医学的专业模型,通过可信访问计划向符合条件的组织开放。
对齐
网络安全
用户安全与控制
2026
作者
OpenAI
正文为 AI 译文。