EgoCaptioner:迈向全面且细粒度的第一视角视频描述

媒体报道 Hugging Face Papers 原文语言:中文

第一视角视频描述需要细粒度细节与准确时间,为此该研究提出了EgoCaptioner,它结合了视频级概览与自适应的时间戳步骤说明。研究开发了粗到精的标注流程,利用来自八个第一视角视频源的50,000个训练样本,并通过GRPO算法进行精细化优化。在五个第一视角基准测试中,EgoCaptioner在描述质量、问答和时间对齐方面达到了开源模型的领先性能。

全文

自我视角视频字幕需要细致的细节和精准的时序,但当前的多模态大语言模型(MLLM)常常错过短暂动作、混淆顺序或误解佩戴者的运动。现有的字幕格式在将详细叙述与精确时序相结合方面也支持有限。我们提出 EgoCaptioner,它将场景、参与者以及佩戴者整体活动的视频级概览与带时间戳的步骤相配合,步骤的叙述能够适应不同的感知需求,并在特定时间点标记关键时刻。我们开发了一个粗到细的标注流水线,先确定事件结构再扩展步骤描述,从八个自我视角视频来源中生成 50,000 条训练样本。互补的奖励机制评估事实准确性和覆盖度、测量步骤级时间对齐,并惩罚碎片化或冗余的叙述,通过组相对策略优化(GRPO)引导字幕的改进。为提升事实监督的可靠性,我们在有传感器数据时使用姿态衍生的运动事实来补充字幕参考。 在五个自我视角基准上,EgoCaptioner 在字幕质量、基于字幕的问答以及时间对齐方面均在评估的开源模型中表现领先。它在 PhysCapBench 上也超越了 Gemini 3.1 Pro,并在 Minerva‑Ego 的字幕到问答协议下超越所有评估的专有基线。消融实验支持事实奖励和时间奖励的互补作用,并显示粗到细的标注比单次标注提供更有效的监督。

查看 arXiv 页面 查看 PDF 项目页面 GitHub 1 添加到收藏

正文为 AI 译文。

参考来源

← 返回每日AI报告