Hugging Face ↗ · 2026-11-20 08:00 · UTC+8
推出 Harness 适配器:在特定任务和框架下提升模型性能与效率
模型更新 Hugging Face 原文语言:英文
研究者为 Qwen3.8‑27B 训练了针对 Pi、OpenCode 与 Hermes Agent 三种 agent 框架的 LoRA 适配器,使用强化学习在框架内部微调后,模型在 Terminal‑Bench 2.1 上的通过率从 39% 提升至 55%,平均 token 使用量降至 1.5K。三个适配器还能合并为单一超适配器,在所有框架下保持优势,相关代码与模型已在 Hugging Face…
全文
将强化学习(RL)应用于自定义任务分布并结合您喜爱的代理框架,可为该目标框架和任务分布生成更准确、更高效的模型。
模型并未针对所有框架和您正在执行的任务进行完全优化。它们的目标是通用性能。因此,当您将模型与框架组合时,实际上放弃了针对您真实工作负载的性能和效率。通过 RL,您可以训练一个自定义的框架适配器,最大限度地挖掘模型在特定框架和任务组合下的潜力。
以 Qwen3.8-27B 为例,其在 pi 框架下的 Terminal‑Bench 2.1 得分为 39%,平均每个任务使用 2.9K token。如果我们冻结模型权重并添加一个经过 RL 训练的 LoRA 适配器,得分可提升至 55% pass@1,平均 token 使用降至 1.5K。主要原因是模型推理次数减少、调用工具更少,并且一次性完成的质量更高。
我们之前的工作(多框架 RL、框架适配器)表明,在您自己的任务分布和框架内部进行 RL,可得到更准确、更高效的模型。那些实验覆盖了数据分析和代码生成任务。这一次,我们进一步验证该结论在 27B 规模、更加真实的软件工程任务以及三种框架(Pi、OpenCode、Hermes Agent)上的适用性,并提供完整可复用的配方,方便您在自己的任务、框架、模型组合上复现。
TL;DR
我们为 Qwen3.8-27B 分别针对每个代理框架(pi、Hermes Agent、OpenCode)训练了一个 LoRA 适配器,RL 过程直接在框架内部进行。
数据集、训练以及代理回滚全部在 Hub 上的 Jobs 中使用 TRL 的 AsyncGRPOTrainer、OpenEnv 和 harbor 完成。
每个框架适配器在其对应框架下的基准测试中均优于原始模型,表现出更高的性能和更好的效率。
这三个 LoRA 还能合并为一个超级适配器,在 pi、Hermes Agent 和 OpenCode 三个框架下均可直接使用,保持不变。
所有制品(适配器、GGUF、RL 任务、safeagents 插件)均可通过此 Hugging Face 集合浏览。
目录
在代理框架内部训练
在 Hugging Face 上生成自定义 RL 任务
使用短期训练运行测试过滤器
AsyncGRPOTrainer:更高效的 GRPO 训练
训练设置
超级适配器:将所有适配器合并为一个
最终结果
未解之谜:模型到底学会了什么?
结语与未来方向
在代理框架内部训练
我们利用 OpenEnv 中的 Harbor 集成以及 TRL 的 OpenEnv 指南,在最终训练时直接于所选框架内部训练模型。我们已经为所有 RL 任务构建了即用型 Docker 镜像,镜像中预装了目标框架。在最终的 Docker 镜像中,我们使用 Pi 1.5.2、OpenCode 2.2.7 和 Hermes Agent v0.22.6。下图来源于前述博客文章,清晰展示了完整的协议流程:
大多数 RL 框架都会重新实现代理循环:代理针对框架自有的接口编写,例如 verl 的 AgentLoop、SkyRL‑Gym 环境、rLLM 的代理与环境类、slime 的自定义 rollout 函数,或是 ART 在您自己的 Python 代理内部的客户端。这里框架保持原样运行,训练器通过位于框架与 vLLM 之间的代理记录并学习其产生的真实 token。近期工作也朝同一方向前进:Agent Lightning v1.0 通过代理(“框架化代理 RL”)在部署时保持框架在循环中,SkyRL 的 Harbor 集成则在 Harbor 试验上训练,将聊天记录转换为 token 供训练器使用。
在 Hugging Face 上生成自定义 RL 任务
在本配方中,我们使用 Hub、OpenEnv 与 Repo2RLEnv 创建了一个面向代理编码的自定义数据集。我们将已有 RL 环境的任务检索、Repo2RLEnv 的任务生成、OpenEnv 的任务验证以及抽样过程整合为单一数据管道,从而获得最高质量、经验证且与 Qwen3.8-27B 代理编码任务高度相关的任务集合。接下来我们将逐步说明构建过程,帮助您在自己的领域中复现。
RL 训练需要代理可以尝试的任务、对每次尝试进行评分的验证器,以及验证器正确性的证据。接受错误答案的验证器会教会模型错误的行为;已经可行的任务则无法为模型带来学习收益。
本节描述了我们如何从三个来源构建任务集:两个来自 Hugging Face Hub,第三个由 Tasksmith 生成,Tasksmith 是 Repo2RLEnv 中的一个流水线。每个任务都通过 openenv validate 的资格筛选,并对基准模型 Qwen3.8-27B 进行相同的难度检查。
三种来源
每个任务使用 Harbor 格式,Terminal-Bench 2.1 也使用该格式。对 Hub 中 Harbor 环境的广泛搜索返回约 59,000 个任务,但其中包含重复项、评估集以及标记为不用于训练的任务。我们筛选出仅用于训练的两个 Hub 来源,并自行生成第三套任务:
SWE-smith(Python、Go)向真实的 Python 和 Go 仓库注入错误,使用 LLM 重写或诸如翻转运算符的变异。捕获每个错误的测试成为任务的测试用例。它增加了任务量。
SWE-Gym 以 Harbor 任务的形式在 TaskTrove 中打包,将真实的 GitHub issue 及其合并的修复转化为任务。它增加了真实世界的错误。
Tasksmith 从已合并的 pull request 生成任务。LLM 代理编写指令和测试,Tasksmith 检查结果:参考实现和有效的替代实现必须通过,而未修复的代码和已知错误的解答必须失败。
我们使用 Tasksmith 针对空白进行填补。我们映射了目标基准(Terminal-Bench 2.1、SWE-bench Pro 的硬子集以及 DeepSWE)测试的技能,然后选择能够锻炼这些技能的 pull request,例如 HTTP 流、文件系统操作和序列化。从 30 个已合并的 pull request 中,Tasksmith 在 10 个 Python 仓库中生成了 24 个通过检查的任务,其中 17 个在第二次运行时仍然通过。它的检查并不取代我们的检查,因此这些任务会与其他任务走同样的流水线。
使用 openenv validate 进行验证
元数据筛选首先运行。它保留训练划分中具有宽松许可证的任务。它剔除重复任务、标记为不用于训练的任务、我们目标基准中的 253 个任务,以及任何来自这些基准使用的仓库的任务。随后我们在全新试验中对每个任务运行 openenv validate 的语义检查:
参考解答获得最高奖励(semantic.oracle_max)。
什么都不做的得分明显更低(semantic.floor_gap)。
没有金丝雀的得分也不会高于什么都不做(semantic.canary_floor)。
对参考解答的重放得到相同的奖励(runtime.episode_determinism)。
每次试验都作为独立的 Hugging Face Job 运行,这让我们一次性验证了数十个任务。openenv validate 为任何 Harbor 任务提供了相同的选项:
openenv validate path/to/task --sandbox hf-sandbox
在 1,127 个 Hub 候选中有 858 个通过。错误答案控制捕获了缺陷,包括一个接受不完整实现的 Tasksmith 任务和一个接受已知错误答案的 Terminal-Bench 2.1 验证器(regex-log)。大多数失败是基础设施问题,例如镜像未能启动。失败的任务会保留在 rejected 划分中,并记录导致失败的检查。
使用基准模型进行难度检查
即使是有效任务也可能毫无教学价值。GRPO(组相对策略优化)将每次尝试的得分与同一任务的其他尝试进行比较,因此所有尝试都通过或全部失败的任务不会提供学习信号。训练前,Qwen3.8-27B 对每个任务尝试了 4 次,对每个仓库抽取的六个任务进行分层抽样时尝试了 8 次。
在 442 个得分任务中,Qwen3.8-27B 每次都解决了 151 个任务,始终未解决 120 个任务。仅偶尔解决的 171 个任务构成了合格集合。下图展示了得分在两端的堆叠情况以及不同来源的差异。模型几乎每次都能解决大多数 Go 任务,在超过三分之一的 SWE-smith Python 任务上始终失败,而在 73% 的 SWE-Gym 任务上得分居中。
Qwen3.8-27B 在 442 个得分任务上的结果。绿色标记了合格任务,即模型在部分尝试中能解决但并非全部。
此示例展示了我们如何将 1,127 个任务筛选并验证至 278 个直接纳入最终数据集的任务。随后流水线对剩余的 522 个被拒任务进行修复和复杂化处理,使用 Tasksmith 并重复验证。
使用短期训练运行测试过滤器
该流水线应用了两个过滤器:验证过滤器去除损坏的任务,难度检查过滤器保留基础模型仅偶尔能解决的任务。本节测试这些过滤器是否会改变模型的学习内容。我们对四个短跑(最多50步)进行训练,每个跑使用来自流水线不同阶段的任务,并在 Terminal-Bench 2.1 上与基础模型进行比较。
每次运行在 32 个任务上使用 LoRA 和 GRPO 对 Qwen3.8-27B 进行训练,使用 TRL 的 AsyncGRPOTrainer,全部采用相同的代理 harness(OpenCode,最多 48 次模型调用)、相同的设置和一台 8×H200 的 Hugging Face 作业,奖励为验证器的通过或失败。任务集合在过滤方式上有所不同:
未验证:24 个通过验证的任务,加上 8 个未通过验证的任务。
已验证:32 个通过验证的任务,选择时不考虑难度。
不合格:32 个基础模型始终能或永远不能解决的任务。
合格:32 个基础模型在部分尝试中能够解决的任务。
下图展示了任务对模型学习的影响。表格列出了每次运行的步数以及我们评估的检查点。图表跟踪了不同验证状态子集任务的训练奖励变化。
数据集
harness-hub/agentic-coding-envs 包含来自 35 个代码库的 871 个任务。每个代码库的任务数量上限为 40,避免单一项目主导。下表展示了各来源的贡献。数据集有两种视图:所有通过验证的任务,以及用于 GRPO 训练的合格子集。被拒绝的尝试保存在单独的配置中。
来源 任务类型 任务数 合格数
SWE-smith 注入的 Python 和 Go 错误 717 144
SWE-Gym (TaskTrove) 实际 GitHub issue 130 27
Tasksmith 从合并的 pull request 生成 24 22
总计 871 171
用于更高效 GRPO 训练的 AsyncGRPOTrainer
我们使用了 TRL 稳定版的 AsyncGRPOTrainer,其主要优势在于训练器在进行下一步优化前无需等待所有 rollout 完成。
如需更详细了解训练器及其构建模块,请参阅 AsyncGRPO 博客文章。
训练设置
为了获得最终的 harness 适配器,我们在 Qwen/Qwen3.8-27B 上使用 TRL 的 AsyncGRPOTrainer 训练 LoRA 适配器。适配器通过 all-linear 标志附加到模型上。为最大化训练效率,rollout 阶段关闭了思考模式,并在思考模式开启与关闭两种情况下评估了最终适配器,以进行更广泛的比较。
最终奖励函数由验证器的正确性组成,并加上一个小的工具效率奖励(0.1,来源于前一代 harness 适配器的早期实验,表明 0.1 效果最佳)。
我们在 Termgrade 环境上对 50 步进行了小范围学习率搜索(1e-5、5e-5、1e-4),发现 1e-5 使训练正确率几乎不变(从 0.52 降至 0.50),1e-4 导致 rollout 崩溃而非提升(每次 rollout 的回合数从 18 降至 6,熵上升),而 5e-5 明显提升了表现(在第 40 步时从 0.49 提升至 0.60)。更长的 5e-5 运行出现不稳定迹象(rollout 长度崩溃、熵上升),因此我们在最终运行中选择了 2e-5。
训练基础设施
每个 harness 适配器使用 NVIDIA 2×B200 GPU 进行训练,一块 GPU 用于 vLLM 服务器,另一块用于训练过程。我们首先进行了一些压力测试,以最大化单个优化步骤内可训练的 RL 任务数量。为此,我们将 AsyncGRPOTrainer 的 --token-budget 参数调至该设置的上限。下图展示了每个 harness(蓝色:Pi,绿色:OpenCode,橙色:Hermes)在每步的组数演变。
随着模型在训练过程中不断提升,它能够在每个训练步骤中容纳越来越多的组,从而使模型在每次优化步骤获得的信号更加多样化。
最终混合
最终的数据混合包括来自 harness‑adapters RL 环境的 750 个任务和来自 termgrade 的 300 个任务。为最大化训练期间采样任务的多样性,我们对数据采样策略做了轻微定制,具体说明如下:
在训练之前,任务会被放入一个固定顺序中,该顺序按家族交叉排列(即它们的仓库用于我们生成的 RL 环境。对于 Termgrade,我们仅按名称排序,因为每个任务被视为其自己的家族),因此每个训练步骤会尽可能混合尽量多的仓库,同时遵循混合分布。
safeagents 在循环中
我们还接入了 safeagents 工具,以阻止模型在训练期间出现任何不当行为。最终插件(包括针对 RL 任务和测试路径的正则表达式及模式规则)托管在 harness-hub/qwen-safeagents-plugin 中,使用最新版本的 safeagents 即可开箱即用,方便任何人复现训练设置。
在训练过程中,被 safeagents 阻止的工具数量持续下降,这表明模型在每一次优化步骤后变得‘更安全’。下图展示了每个 harness 适配器在不同训练步骤下,每千次工具调用中被 safeagents 阻止的调用次数。
超级适配器:将所有适配器合并为一个
合并模型通常会将它们的能力结合在一起,同时保留各自的大部分功能。在训练完三个 harness 适配器后,我们提出了两个问题。合并它们会导致准确率下降吗?单个“超级适配器”能否在每个 harness 下既准确又高效?
我们首先逐层比较了三个适配器的权重更新。任意两个适配器之间的余弦相似度约为 0.01–0.02:每个适配器在训练期间几乎沿正交方向推动模型。这是合并的最佳情况,因为更新几乎不相互干扰。
我们沿秩维度(PEFT 的 combination_type="cat")将三个 LoRA 适配器拼接。合并后的适配器秩为 96(3 × 32),并精确地应用 w·(ΔW_pi + ΔW_hermes + ΔW_opencode)。先前关于合并的工作(task arithmetic、TIES、KnOTS)发现将每个更新的缩放系数设为小于 1 的值效果最佳,因此我们在所有 89 个 Terminal‑Bench 2.1 任务上、在每个 harness 下比较了三种权重设置,使用 step‑120 的适配器:
⅓(平均):每个 harness 只保留自身更新的三分之一。
½:每个更新以半强度应用。
1(直接相加):每个更新全部应用。
权重 pi hermes opencode 三个 harness 的每任务工具调用次数
基础模型 39.1% 46.0% 44.8% 43.3% 49.2
⅓(平均) 49.4% 51.2% 47.1% 49.2% 35.6
½ 48.8% 53.5% 55.2% 52.5% 25.9
1(相加) 40.2% 62.8% 47.1% 50.0% 13.4
直接相加会导致更新过度。代理的调用次数非常少(每任务 13 次工具调用,而基础模型为 49 次),虽然 Hermes 达到 62.8% 的峰值,但 pi 回落到基础模型水平。平均方式会稀释每个 harness 的自身更新。½ 提供了最佳平衡,因此我们使用已发布的检查点(pi step 160、hermes step 160、opencode step 150)并以权重 ½ 构建了最终的超级适配器。
适配器合并评估结果
在每个 harness 下,对所有运行评分的任务(SWE‑bench Pro 为 50–51,Terminal‑Bench 2.1 为 82–85),每任务一次尝试(括号内为相对于基础模型的效率提升):
Harness 基准 Qwen3.8-27B Qwen3.8-27B--adapted Qwen3.8-27B-super-adapter Qwen3.8-27B,thinking Qwen3.8-27B-super-adapter,thinking
pi SWE‑bench Pro(hard 51) 40.0% 64.0%(−60%) 46.0%(−73%) 74.0% 74.0%(−48%)
hermes SWE‑bench Pro(hard 51) 29.4% 43.1%(−56%) 47.1%(−60%) 45.1% 60.8%(−36%)
opencode SWE‑bench Pro(hard 51) 35.3% 51.0%(−72%) 45.1%(−63%) 47.1% 66.7%(−31%)
pi Terminal‑Bench 2.1 40.0% 56.5%(−56%) 48.2%(−56%) 52.9% 57.6%(−25%)
hermes Terminal‑Bench 2.1 44.7% 58.8%(−70%) 55.3%(−53%) 58.8% 63.5%(−19%)
opencode Terminal‑Bench 2.1 47.6% 52.4%(−53%) 52.4%(−68%) 54.9% 58.5%(−22%)
“Thinking” 是聊天模板在默认努力程度(xhigh)下的思考模式。专家模型在训练和服务时均关闭了思考。
在关闭思考的情况下,超级适配器在所有六组 harness‑benchmark 配对上均优于基础模型(平均 pass@1 从 39.5% 提升至 49.0%;新增解决 71 任务,失去 34 任务,p < 0.001)。
尽管在思考开启的情况下未进行任何训练,它仍是我们评估中思考模式最强的模型。与同等努力程度下的基础模型思考模式相比,它在六组配对中赢得五组并与第六组持平(平均 55.5% → 63.5%;新增解决 67 任务,失去 37 任务,p = 0.004)。最大提升出现在 SWE‑bench Pro:hermes 提升 16 分,opencode 提升 20 分。在 pi 上的 SWE‑bench Pro 中,思考模式本身已达到 74%,因此持平。
在思考关闭时使用专用的 harness 适配器。每个 harness 的专用适配器在六对中的四对上表现领先,在 pi 上的提升最大(64.0% 对比 46.0% 在 SWE-bench Pro,56.5% 对比 48.2% 在 Terminal-Bench)。将一个模型拆分到三个 harness 上会使 pi 获得的提升最少。如果只使用一个 harness 并保持思考关闭,则使用其专用适配器。
超级适配器的效率也更高。在两者都能解决的任务上,关闭思考时,它可以减少 53–73% 的工具调用,并在每个任务上生成 44–60% 更少的 token,在 130 项任务中有 111 项工具调用更少。开启思考时,它仍然在 SWE-bench Pro 上将工具调用削减 31–48%,将 token 减少 24–43%。在 Terminal-Bench 上,工具调用下降 19–25%,而 token 数量基本持平。
在 Terminal-Bench 2.1 使用 step-120 适配器时选择了 ½ 权重,因此 Terminal-Bench 的数值略显乐观;SWE-bench Pro 并未参与此选择。完整的配对结果见超级适配器的模型卡。
最终结果
本节报告训练期间发生的情况,以及适配器在其自身 harness 内外的持出基准上的得分。
训练结果
训练累计进行 598 步,总计训练了 78,114 条样本,恰好对应 1.67 亿个训练 token。
在训练过程中,我们看到模型能够以越来越少的步骤解决任务的明显信号,且没有出现明显的饱和迹象。尽管有时出现明显的上升趋势,训练正确率总体保持平稳。这可以解释为模型在训练期间遇到新任务,但随着轨迹变短,单步 token 预算能容纳的组数增加了超过一倍。准确率的提升体现在下文持出基准上。
另一方面,safeagents 能够阻止多次可疑尝试。在三次训练运行中,共检查了 130 万次工具调用,阻止了 647 次工具调用。
评估结果
本节涵盖评估设置、harness 内部结果、跨 harness 的迁移以及分布外检查。
评估设置
我们在每个适配器训练所在的 harness 内进行评估,使用两个代理编码基准:Terminal-Bench 2.1 的全部 89 项任务(每任务 1 小时、100 步)以及 SWE-bench Pro 中最难的 51 项任务(每任务 2 小时、100 步)。我们将每任务的最大 token 数限制为 131072。我们不调节代理设置,所有 harness 均使用默认配置。例如,Pi 不保留先前的推理回合,而 OpenCode 和 Hermes 会保留,这主要影响 SWE-bench Pro 的结果,因为上下文快速溢出。因此,不能跨不同 harness 比较结果(使用 Pi 并不一定比 Hermes 或 OpenCode 更好),但在同一 harness 内比较结果并得出结论是公平的。
每次 rollout 都使用与训练相同的 Harbor 和 OpenEnv 堆栈,在 HF 沙盒中执行,每个任务尝试一次,温度为 0.8,思考关闭。每个 LoRA 检查点被合并到基础权重中,并在单 GPU 上通过 vLLM 单独提供,且并发度与基础模型评估相同。
对于所有评估基准,我们报告 pass@1 以及工具调用次数、总回合数,分别针对所有任务和已解决任务。
为保持开放性,所有最终评估的模型轨迹已推送至公开存储桶:harness-hub/harness-adapters-trajectories。
最终评估结果
所有三个专用适配器在各自 harness 中均击败基础模型,在两个基准上均表现更佳。在 SWE-bench Pro(难度最高的 51 项)上,pi 从 39.2% 提升至 64.7%(+25.5 点:新增解决 15 项任务,失去 2 项,p = 0.002),hermes 从 29.4% 提升至 43.1%,opencode 从 35.3% 提升至 51.0%。在完整的 Terminal-Bench 2.1 上,pi 提升 +16.3 点(16 对 2,p = 0.001),hermes 提升 +14.1 点(19 对 7,p = 0.03)。opencode 总体提升 +6.0 点,在未参与选择检查点的 66 项任务上提升 +13.6 点(12 对 3,p = 0.035)。
这些适配器在解决任务时也高效得多:在它们和基底模型都能解决的任务上,在 SWE-bench Pro 上每个任务的工具调用次数减少了 56–72%,在 Terminal-Bench 2.1 上减少了 53–70%。单一的超级适配器在所有三种评测框架下也战胜了基底模型(在 SWE-bench Pro 上提升 6 到 18 个百分点,在 Terminal-Bench 2.1 上提升 5 到 10 个百分点),同时工具调用次数同样大幅减少(53–73%)。在关闭思考模式时,它保留了每个专家较少的增益,在 pi 下表现最多,但在开启思考模式时,它在六个评测框架与基准测试配对中的五个中,以相同的努力程度战胜了基底模型(参见超级适配器部分)。每个模型卡都包含完整的配对结果。
效率和性能能力能否在不同的评测框架之间迁移?
为了回答这个问题,我们在 Hermes Agent 和 OpenCode 下也评估了 pi 评测框架适配器。
在 OpenCode 下,它在 Terminal-Bench 2.1 上与 OpenCode 自身的专家相匹配(44.8% → 54.0%,对比 46.4% → 52.4%)。在 Hermes 下,它保留了专家约三分之二的增益(46.3% → 56.1%,对比 44.7% → 58.8%),并且两者的工具调用次数都减少了约 45%。因此,新学到的能力似乎可以在不同的评测框架之间迁移。
分布外任务与设置的评估
如果我们对适配器训练时未使用的评测框架之外的分布外任务进行评估,会发生什么?
我们在 300 个 AutomationBench 任务上运行了所有五个模型,这些任务包含业务自动化工作流评估,使用的是 AutomationBench 自身的智能体循环,而不是 Pi、Hermes 或 OpenCode。通过这种方式,我们可以交叉验证两个不同的问题:模型能否解决 SWE 相关任务之外的问题?当模型被置于其训练时所用的评测框架之外时会发生什么?
结果显示,适配器的表现与基底模型相差无几。Pi 和 OpenCode 略微领先(pass@1 分别为 27.0% 和 25.3%,基底模型为 23.0%),合并后的适配器持平(23.7%),Hermes 落后几个百分点(17.7%)。这些差异在误差范围内,Hermes 除外或许是个例外,因此评测框架内部的强化学习既没有明确迁移到这种截然不同的环境中,也没有在该环境中破坏模型。
模型 pass@1(满足所有断言)对比基底 Partial credit(满足断言的比例)对比基底
base 23.0% 62.2%
pi 160 27.0% +4.0 66.2% +4.0
opencode 150 25.3% +2.3 65.2% +3.0
merged 23.7% +0.7 60.6% −1.6
hermes 160 17.7% −5.3 56.6% −5.6
开放式问题:模型真正学到了什么?
我们感谢用户和社区的反馈,社区的初期测试和结果总体看来极其积极,我们希望未来继续朝着这个方向前进。我们也看到了一些令人惊讶的结果,例如用户报告称评测框架适配器在 Qwen3.8 衍生版本(如 Swift-1.5)下运行得非常好。
这个问题是我们在发布后思考的一个开放式问题。在仔细检查了来自评估基准的生成轨迹后,结果表明,在非思考模式下,模型倾向于在提出工具调用之前生成一些简短的文本,这与几乎不在事前生成任何文本的基底模型相反。
这种现象可以被视为一种“推理泄漏”,即模型通过生成有时看起来像推理轨迹的文本(例如:..等等?..让我想想等),学会了从其非思考版本“逃逸”到其思考版本。最近的一篇论文也很好地描述了大语言模型在强化学习阶段的行为。
这是否会使我们的模型失效?我们认为不会,因为最终结果仍然有效;在完全相同的条件下(固定的 Token 预算),我们的适配器确实大大超越了非思考基底模型,并且在具备极高 Token 效率的同时,匹配了思考版本的性能。社区的积极反馈进一步证实了这一点。
然而,这也引发了开展适当后续工作的需求,我们将尝试把相同的流水线重新应用于纯思考模型,并探索混合思考/非思考训练,以更好地理解强化学习训练对混合思考模型行为的影响。一旦获得确凿的结果,我们将与社区分享我们的新发现(以及评测框架适配器)。
结束语与未来方向
在整个工作中,我们展示了在目标 harness 中对模型进行 RL 训练能够实现更高效,从而在相同条件下评估时得到更准确的最终模型。此观察与 Hugging Face 团队之前的多 harness RL 或早期 harness 适配器等工作相吻合并予以延续。
未来,我们将探索将此方案应用于更多模型,同时更深入研究混合思考/非思考模型的训练策略。
我们也向社区公开完整的配方和流水线,以便复现所有内容,并邀请大家基于自己的代码库或任何相关材料构建自己的 RL 任务,使用相同的训练配方和思路应用于自己喜爱的模型和 harness,以实现更高效的代理模型。我们希望这篇博客能成为构建者未来构建并分享自己 harness 适配器的起点。
正文为 AI 译文。