Hugging Face Papers ↗ · 2026-11-19
指令条件程序视频中的在线错误检测
媒体报道 Hugging Face Papers 原文语言:中文
本文研究了第一人称视频中在线、基于指令条件的错误检测,通过观察视频、任务指令和先验预测来识别、定位并分类完成的动作尝试。研究对比了模块化流水线与单步联合模型,其中联合模型取得了更高的二进制错误检测 F1@0.5 分数(84.1% 对 80.7%),并在失误检测上提升最大。这两种设计在测试视频中的表现均优于现有的 AEM 和 ESTANet 检查点。
全文
当助理监控执行程序的人时,最有用的情况是它能够在仍有时间恢复的情况下检测到错误。这需要在视频进行时将动作与任务指令进行比较,识别尝试的步骤,定位其时间,并评估其执行情况。现有的在线检测器不使用指令文本,而基于指令的方法则是离线运行的。在本文中,我们研究了在第一人称视频中进行在线、指令条件的错误检测。仅使用观察到的视频、任务指令和先前的预测,我们的模型能够识别并定位已完成的动作尝试,并将其分类为正确、修改、失误、纠正或添加;遗漏的步骤则在视频结束后确定。我们比较了模块化流水线(分别进行步骤识别、时间定位和执行验证)与一次性预测所有输出的联合模型。为了支持从错误中进行监督学习,我们重新划分了 EgoPER,使所有划分中都包含错误视频。两种方法在步骤分割 F1@0.5 上表现相似(分别为 93.6% 和 92.1%),而联合模型在二元错误检测 F1@0.5 上表现更高(84.1% 对 80.7%),其在失误检测上的提升最大(56.4% 对 37.5%)。组件层面的分析表明,阶段之间的错误传播导致模块化方法的检测分数较低。在包含错误的测试视频上,两种设计均在我们的评估协议下优于已发布的 AEM 和 ESTANet 检查点。
查看 arXiv 页面 查看 PDF 添加到收藏
正文为 AI 译文。