HINT-WAM: Hindsight-Informed Training for World Action Models

媒体报道 Hugging Face Papers 原文语言:中文

HINT-WAM是首个在线自蒸馏框架,通过利用未来示范视频作为特权信息,在自身的采样轨迹上监督世界行动模型(WAM)的行动专家。该方法采用基于能量得分的分布级目标将教师模型蒸馏到学生模型中,无需环境奖励或模拟器交互即可提高任务执行的可靠性。

全文

世界行动模型(WAMs)通过将动作生成与未来视觉动态的预测相结合,在机器人操作中展现出了良好的泛化能力和数据效率。然而,将这些能力转化为可靠的任务执行,对现有的后训练方法来说仍然是一个挑战。离线监督微调在专家轨迹上提供了密集监督,但其流匹配(flow-matching)动作专家仅在加噪的示范动作上进行训练,从未在其自身采样器产生的中间状态上进行训练;特定任务的适应也可能损害预训练的能力。在线强化学习在策略自身的行为上进行训练,但稀疏的任务奖励使得探索和信用分配变得困难,而密集的奖励塑造仍然只能提供标量评估,而不是直接的动作目标。我们推出了 HINT-WAM,这是首个在线自蒸馏框架,它利用事后情境(hindsight)——即作为 WAM 自身可用特权信息的示范未来视频——在其自身的采样轨迹上对动作专家进行监督。对于每个示范观察,学生通过其自身的去噪轨迹生成动作,在此轨迹的状态下,同一模型充当教师,额外以该事后情境为条件,提供条件动作分布作为密集训练目标,而学生仅看到部署时的输入,不需要环境奖励或模拟器交互。为了将这种监督转移到流匹配动作专家,HINT-WAM 通过能量得分将教师蒸馏到学生中,这是一种分布级目标,它从学生自身的样本中匹配教师的动作分布,而不是回归其速度场。项目网站可在 https://tuandattt.github.io/hintwam/ 访问。

查看 arXiv 页面 查看 PDF 项目页面 GitHub 4 添加到收藏

正文为 AI 译文。

参考来源

← 返回每日AI报告