Hugging Face Papers ↗ · 2026-11-19
AutoMaster:通过使同一模型成为更好的教师来进行自主后训练
媒体报道 Hugging Face Papers 原文语言:中文
本文提出了 Skill-FT 以及自主后训练系统 AutoMaster,利用自然语言技能在教师 rollout 期间抑制不良习惯并激发有效行为。在终端、搜索和软件工程任务中,AutoMaster 将 4B 和 9B 目标模型的平均性能提升了 1.42 到 8.99 个百分点。研究结果表明,行为塑造可以使固定模型成为更有效的教师,并在 SFT 期间保留技能指令有助于更好地内化行为。
全文
仅凭任务成功并不能明确后训练应强化哪些行为。即便是成功的教师轨迹也可能包含未经支持的假设、无成效的重复或表面的验证。我们提出了 Skill-FT(技能引导微调),它利用自然语言技能在教师运行(rollouts)过程中抑制不良习惯并激发代表性不足的有效行为,随后在生成的轨迹上对目标模型进行微调。我们引入了 AutoMaster,这是一个自主后训练系统,其中的 LLM 智能体通过轨迹分析、技能设计、数据选择以及来自运行和目标模型评估的反馈来开发这些干预措施。在 Terminal、Search 和软件工程任务中,使用 4B 和 9B 的目标模型,在保持教师、任务池、训练集大小和 SFT 配方不变的情况下,AutoMaster 将基于成功的无引导教师轨迹的 Vanilla SFT 的平均性能提升了 1.42 到 8.99 个百分点。结合消融实验和轨迹分析,这些结果表明行为塑造可以使固定的模型成为更有效的教师。我们进一步发现,在所有六种设置中,在 SFT 期间保留技能指令比移除它们能产生更高的平均性能,尽管在评估时它们并不存在且监督输出完全相同。这些 findings 表明,将技能上下文保留为训练示范的一部分可以支持更好的行为内化。
View arXiv page View PDF Project page GitHub 3 Add to collection
正文为 AI 译文。