DaisyRose-27B:推动后训练效率的前沿

媒体报道 Hugging Face 原文语言:英文

RadixArk 发布基于 Qwen3.8-27B 的 DaisyRose-27B,使用 144 块 H200 GPU、18 天、1,200 任务训练,提升 Terminal‑Bench 4.1 pass@1 从 5.6% 到…

全文

今天我们发布 DaisyRose-27B,RadixArk 的首个模型,基于 Qwen3.8-27B 构建,并使用 Miles 进行强化学习训练。我们在长时程代理任务上进行训练,单次会话最长达 1M token,仅用 1,200 条精心挑选的任务,在 18 天内使用 144 块 H200 GPU 完成。DaisyRose-27B 将 Terminal-Bench 4.1 的 pass@1 从 5.6% 提升至 12.0%。除 Terminal-Bench 4.1 外,它在多种推理、指令遵循和代码基准上也都有提升。

检查点在 Apache 2.0 许可证下提供:

BF16

FP8

NVFP4

该模型保留了 Qwen3.8-27B 的架构、分词器、聊天模板、图像理解能力以及 256K token 的上下文窗口。更长的训练会话使用 harness 摘要跨越多个轨迹。请参阅模型卡了解模型属性和推理设置。

运行 DaisyRose-27B

我们建议使用 SGLang 和 DSpark 推测解码来部署 DaisyRose-27B。SGLang cookbook 提供了针对不同 GPU 和检查点格式的启动配置。

在端口 30000 上使用模型名称 DaisyRose-27B 启动服务器后,您可以使用 OpenAI Python 客户端发送请求:

from openai import OpenAI client = OpenAI( base_url="http://localhost:30000/v1", api_key="none", ) response = client.chat.completions.create( model="DaisyRose-27B", messages=[ {"role": "user", "content": "360 有多少个正因数?"}, ], temperature=1.0, top_p=0.95, extra_body={"top_k": 20, "min_p": 0.0}, ) print(response.choices[0].message.reasoning_content) print(response.choices[0].message.content)

模型默认在回答前进行思考。其推理过程返回在 reasoning_content 中,最终答案返回在 content 中。这些设置遵循模型卡的快速入门。

基准结果

基准 Qwen3.8-27B DaisyRose-27B

Terminal Bench 4.1 5.6 12.0

Terminal Bench 2.1 73.0 75.5

DeepSWE v1.1 42.2 46.2

SWE Bench Pro v2 91.3 94.7

HLE (text-only) 33.9 34.3

IFBench 79.5 82.4

GPQA Diamond 89.2 90.7

DaisyRose-27B 在上述所有基准上均高于原始 Qwen3.8-27B 模型。最大提升出现在 Terminal Bench 4.1,pass@1 从 5.6% 上升至 12.0%。

分数取每个基准 BF16 与 FP8 两次运行的较高值;两者在均有评估的情况下差距均小于一点。模型卡中包含比较来源和评估设置。

此次发布得以实现的训练设置包括三个部分:精心设计的任务、高效的训练后端以及可靠的沙盒环境。

高质量训练数据

我们与 Eigent AI 合作构建任务,基于其在机器学习、软件工程、科学等领域的大量任务池。双方共同构建了数千个候选任务,约 1,200 条进入最终训练集。

我们使用三条标准筛选任务:

每个任务针对原始模型的一个错误。我们在每个任务上运行 Qwen3.8-27B,并围绕我们希望模型避免的错误重新设计任务。随后调整难度,使解答率落在有意义的学习区间内。

每个任务需要多个相互依赖的步骤。代理必须在长任务中进行推理、规划和执行。每次尝试在沙盒中最长可达 1.5 小时,涉及超过 100 次工具调用和超过 256K 的输出 token。

任务必须奖励真正解决问题的行为。我们在模型尝试的同时审查每个任务。能够在不真正解决预期问题的情况下通过的任务,或存在设计缺陷的任务,都被修正或剔除。

高效的训练后端

RadixArk 使用 Miles——我们开源的大规模模型后训练强化学习框架——以完全异步模式训练 DaisyRose-27B:代理在模型学习的同时继续工作,双方互不等待。当 128 块 H200 进行代理任务推理时,另外 16 块用于训练器并从轨迹中学习。每一步后,更新后的模型会被分发到运行代理的 128 块 GPU。学习在我们内部的训练后端上进行,该后端专为代理训练构建:每一步从少量极长会话中学习,有的会话长达 1M token,通过 harness 摘要折叠为多个轨迹。

训练成本降低 57%。在此次发布中,我们后端每个 GPU 峰值计算能力的 37% 都用于了有用的训练工作(模型浮点运算利用率,即 MFU)。基于 Megatron 构建的开源训练器在同类运行中达到了 16%。因此,相同的训练所需的 GPU 时间减少了 57%。在混合专家模型上,增益甚至更大:Qwen3.6-35B-A3B 上为 6.2 倍,在大约 300B 参数的 GLM-5.3-Flash 上超过 10 倍。

端到端速度提升 2 倍。计算智能体执行任务所花费的时间,发布版本在 144 个 GPU 上以每秒约 16,800 个 token 的速度进行训练。开源训练器在相同的 GPU 上达到了约 8,300 个。

数周内保持稳定。发布版本在 144 个 H200 上训练了数周,总计 63,000 个 GPU 小时。从第一步到最后一步,其速度和效率保持稳定。

DaisyRose-27B 发布版本在 144 个 H200 上运行的每个训练步骤,与总训练时间的对比图。虚线:同类运行中的开源训练器。

稳健的沙盒服务

每次训练尝试都在沙盒中运行:即任务环境的一个全新副本,智能体在其中运行命令、编辑文件,然后进行评分。

我们的服务建立在开源的 AgentENV 项目之上,我们也为该项目贡献了修复。在 9 月中旬至 11 月中旬期间,该项目运行了约 944,000 个沙盒,并发运行数高达 1,566 个。

该服务从一台机器扩展到了多达 12 台。我们对其进行了十次升级,几乎全部是在训练运行期间进行的。在全部九周内,99% 的沙盒创建成功;自 10 月下旬以来,这一数字已超过 99.95%。

该项目沙盒的云基础设施成本比使用流行云沙盒提供商运行相同沙盒的成本低约 80%。我们降低成本的方法之一是让每个沙盒的内存分配随着其实际使用量动态增减,从而允许多个沙盒共享每台机器。

试用该模型或训练您自己的模型

下载 DaisyRose-27B,遵循 SGLang 服务指南,或者使用 Miles 训练您自己的智能体。

我们很高兴听到 DaisyRose-27B 在您的任务上的表现,包括它的不足之处。请在模型的“社区”标签页中分享您的配置和结果。

我们感谢 Eigent AI 在训练数据方面与我们紧密合作,并感谢 Qwen 团队创建了 Qwen3.8-27B。我们还要感谢 Miles 和 SGLang 社区,以及包括 slime、AgentENV 和 Harbor 在内的其他开源项目。

改编自 RadixArk 的原版文章。

正文为 AI 译文。

参考来源

← 返回每日AI报告