Game2Player:通过环境与玩家协同开发扩展视觉智能体的游戏体验

媒体报道 Hugging Face Papers 原文语言:中文

为了解决人工收集游戏玩法成本高及现有数据集任务有限的问题,本文引入了Game2Player框架,通过构建、验证和学习网页游戏来大规模收集多样化且可验证的游戏体验。利用该框架构建了568款网页游戏和3,436个任务,收集了15.7K条轨迹,训练出的Game2Player-9B在PlayerBench和GameWorld基准测试中显著提升了任务进展表现。

全文

游戏是视觉智能体的丰富测试平台,对感知、长视野规划和精确控制提出了很高的要求。然而,收集人类游戏玩法成本高昂,从游戏视频中学习则需要推断缺失的动作。现有的数据集也只涵盖有限的游戏范围,通常缺乏明确的任务或可验证的结果。为了填补这些空白,我们推出了 Game2Player,这是一个共同开发游戏环境和智能体的框架,旨在大规模收集多样且可验证的游戏体验。在 Game2Player 循环中,构建器智能体(Builder agent)调整现有的网页游戏,暴露其内部状态,并定义具有基于状态的进度度量和成功检查的任务。随后,编码玩家(Coding Player)和 VLM 玩家(VLM Player)尝试完成这些任务,并向构建器报告问题以便修复,从而使游戏过程既能验证环境,又能收集训练数据。借助 Game2Player,我们构建了 568 个经过验证的网页游戏,包含 3,436 个任务,收集了 15.7K 条轨迹(307 小时的游戏时间),并保留了 50 个游戏作为基准测试 PlayerBench。为了评估收集到的作为训练数据的体验,我们使用进度加权的 SFT 训练了 VLM 智能体,为推进任务进度的步骤赋予更大的权重。Game2Player-9B 将 PlayerBench 上的进度从 14.3% 提升至 31.2%,并在外部的 GameWorld 基准测试中从 30.0% 提升至 53.1%。更广泛地说,我们的工作为视觉智能体通过构建、验证现有游戏世界并从中学习来扩展其游戏体验开辟了一条道路。

查看 arXiv 页面 查看 PDF 项目页面 GitHub 24 添加到收藏夹

正文为 AI 译文。

参考来源

← 返回每日AI报告