MarkTechPost ↗ · 2026-11-19 00:07 · UTC+8
新 LoRA 适配器将 Qwen3.8 的编程成功率从 39% 提升至 65%
媒体报道 MarkTechPost 原文语言:英文
Hugging Face 的 harness-hub 团队发布了 Qwen3.8-27B-pi-adapted,这是一个用于 Qwen3.8-27B 的 LoRA 适配器。它通过强化学习训练,旨在 pi 编码智能体内运行。
全文
Hugging Face 的 harness-hub 团队发布了 Qwen3.8-27B-pi-adapted,这是针对 Qwen3.8-27B 的 LoRA 适配器。它通过强化学习进行训练,以在 pi 编码代理内部工作。Qwen3.8-27B-pi-adapted LoRA 适配器针对特定的 harness,而非通用聊天。这正是本地编码代理开发者需要的:保留开放的基础模型,换入一个小型、针对特定 harness 的适配器。
TL;DR
尺寸:LoRA 秩 32(alpha 64),基于 Qwen3.8-27B,一个拥有 262,144 原生上下文的 27B 稠密混合模型。合并后的 BF16 检查点约为 54 GB。
运行环境:vLLM 并启用 LoRA,或使用 llama.cpp 加载 Q8_0 基础的 GGUF 适配器。推理显存未披露。训练使用了 2× NVIDIA B200。
性能:在 pi 中关闭思考模式时,pass@1 大幅提升,且会话显著更短。
最佳:在 SWE-bench Pro(hard 51)上达到 64.7%,相较 39.2% 有显著提升。
最差:在 Terminal-Bench 2.1 上为 55.8%。基础模型在开启思考模式时已达到 SWE-bench Pro 的 64.7%。
结论:最佳:思考水平的准确率仅使用约 4.5 倍更少的 token。最差:评测集规模小,数据为自报,仅限 pi。
什么是 Qwen3.8-27B-pi-adapted?
Qwen3.8-27B-pi-adapted 是一个 PEFT LoRA 适配器,使 Qwen3.8-27B 成为针对 pi 调优的模型。pi 是一个 MIT 许可证的代理工具包,提供编码代理 CLI。该适配器在 Apache-2.0 许可证下发布。它作用于 q、k、v、o、gate、up 和 down 投影,仅适用于 Qwen3.8-27B。
基础模型是一个稠密混合模型。它在 64 层中交替使用 Gated DeltaNet 线性注意力块和 Gated Attention 块。
该 harness 适配器的训练是如何进行的?
该方法来源于 Hugging Face 于 11 月 6 日发布的 harness adapters 帖子。思路是每个模型和每个 harness 对应一个 LoRA 适配器。训练在未修改的 harness 内部对可验证任务进行。
对于此检查点,模型卡列出了以下细节:
算法:来自 TRL 的 AsyncGRPO,每个任务 8 次 rollout,温度 0.8。
任务:750 个 scale800 任务交叉 300 个 TermGrade 任务。
奖励:验证器正确性加上工具效率奖励,权重 0.1。
预算:每次 rollout 最多 50 步代理操作和 1,800 秒,关闭思考模式。
检查点:第 160 步。运行在计划的 1,000 步中止于第 191 步。
每次工具调用都会通过 safeagents——一个基于规则的代理。它会阻止诸如从 Hub 获取基准答案的调用。被阻止的 rollout 得分为 0,因而 RL 会将模型远离奖励作弊。
基准测试:LoRA 适配器帮助有多大?
以下所有数字均为自报。它们使用 pi harness,每个任务 1 次尝试。
基准(pi,关闭思考) 基础 Qwen3.8-27B pi-adapted 变化
SWE-bench Pro(hard 51) 39.2% 64.7% +25.5 ± 14.2 分 (p = 0.0023)
Terminal-Bench 2.1(86 任务) 39.5% 55.8% +16.3 ± 9.1 分 (p = 0.0013)
适配器解决了 15 项新的 SWE-bench Pro 任务,失去了 2 项。在 Terminal-Bench 2.1 上,它提升了 16 项,失去了 2 项。
效率是更大的亮点。在两模型都能解出的任务上,SWE-bench Pro 的中位回合数从 59 降至 23;Terminal-Bench 2.1 从 18 降至 8。适配器生成的 token 约为基础模型开启思考模式时的 1/4.5。
它与思考模式及其他适配器相比如何?
开启思考模式时,基础模型已在 SWE-bench Pro 上取得 64.7%,在 Terminal-Bench 2.1 上取得 54.2%。因此适配器在不付出长推理轨迹代价的情况下,达到了思考水平的准确率。开启思考模式后,适配器分别达到 66.7% 和 56.6%。
特性 Qwen3.8-27B-pi-adapted Qwen3.8-27B 基础,开启思考 Qwen3.8-27B-opencode-adapted bytkim/Qwen3.8-27B-pi
类型 LoRA r=32 基础模型 LoRA r=32 完全微调,28B
方法 AsyncGRPO RL 无 AsyncGRPO RL SFT 然后 GRPO
Harness pi pi OpenCode pi
许可证 Apache-2.0 Apache-2.0 Apache-2.0 Apache-2.0
SWE-bench Pro(hard 51) 64.7% 64.7% 51.0%(OpenCode) 未披露
Terminal-Bench 2.1 55.8% 54.2% 53.0%(OpenCode) 未披露
Token 使用量 ~比基础模型 + 思考模式少 4.5 倍 基线 ~比基础模型 + 思考模式少 6 倍至 8 倍 ~比基础模型 + 思考模式少 41% 输出 token(Terminal-Bench)
训练硬件 2x B200 未披露 2x B200 未披露
OpenCode 适配器的数字使用了不同的 harness,不能直接比较。
如何部署?
模型卡提供了 4 条路径:
vLLM:使用 --enable-lora --max-lora-rank 32 启动 Qwen/Qwen3.8-27B,关闭思考模式。将 pi 指向 http://localhost:8000/v1。
llama.cpp:在 Q8_0 基础 GGUF 上加载 GGUF 适配器。
Llama.app(macOS):使用 32,768 token 上下文注册适配器。
合并:在 CPU 上使用 PEFT 合并,然后在不使用 LoRA 标志的情况下提供 54 GB BF16 结果。
因为适配器共享同一个基础模型,单个服务器可以同时托管 pi 和 OpenCode 适配器。
关键要点
Qwen3.8-27B-pi-adapted 是一个 Apache-2.0 许可证的、rank-32 RL LoRA,针对 pi 代理进行适配。
SWE-bench Pro hard-51 的表现从 39.2% 提升至 64.7%,思考关闭。
SWE-bench Pro 的中位回合数从 59 降至 23。
它在大约 4.5 倍更少的 token 下匹配了 base-with-thinking 的准确率。
结果为自行报告,基于小规模数据集;推文中的 29.4% 基线已被更正。
查看模型卡、GGUF 适配器、方法论文章以及 TRL 训练脚本。
正文为 AI 译文。