TuringSpace:通过交互式验证码在行动中基础化空间智能

媒体报道 Hugging Face Papers 原文语言:中文

本文介绍了 TuringSpace,一个包含 125 个交互式验证码的合成网络环境,用于测试多模态大语言模型的空间智能。人类在测试中能解决 94.1% 的任务,而最好的模型 GPT-6 Astra 失败率为 25.9%,Kimi K3 的失败率高达 68.0%。研究表明,通过在这一环境中微调 Qwen3.5-9B,其成功率从 1.6% 提升至 33.1%,并改善了多个分布外基准测试的表现。

全文

人类通过推断二维视图背后的三维布局、预测某个动作将如何改变它,并在看到结果后进行自我纠正,从而在视觉世界中行动。多模态大语言模型(MLLMs)能做到同样的事情吗?CAPTCHA 提供了一个自然的测试,因为人类正是通过这一循环来解决它们的——在屏幕上点击和拖动,并在每次结果之后进行调整。然而,现有的 CAPTCHA 基准测试大多已被解决,且很少涉及空间能力,而空间基准测试又很少要求执行动作。因此,我们提出 TuringSpace,这是一个由 125 个交互式 CAPTCHA 组成的合成网页环境,涵盖五种空间能力,必须通过屏幕上的点击和拖动来解决。每个任务都是一个程序,可以用检查器和预言机生成新实例,因此这些任务也构成了一个可扩展的训练场。人类解决了 94.1% 的任务,而最好的模型 GPT-6 Astra 仍有 25.9% 的失败率,最好的开放权重模型 Kimi K3 失败率为 68.0%。我们的进一步分析表明,大多数失败源于误读截图,而模型推理很少能纠正错误的信念,反而会幻觉出证据来为其辩护。为了测试这种空间能力是否可以学习,我们在这个训练场上对 Qwen3.5-9B 进行了微调。其成功率从 1.6% 上升到 33.1%,超过 Kimi K3,并且在全部七个分布外基准测试上都有所提升,包括在 VSI-Bench 的真实世界室内视频上提升了 9.9 个百分点。这些结果表明,将空间智能建立在屏幕动作之上,能够揭示 MLLMs 所缺乏的东西,并提供一种可扩展的方式来教授它,其收益可以迁移到真实世界场景。我们将发布 TuringSpace 以支持进一步研究。

查看 arXiv 页面 查看 PDF 项目页面 GitHub 0 添加到收藏

正文为 AI 译文。

参考来源

← 返回每日AI报告