TwinLab-Bench: Evaluating AI Scientists in Agentic Twins of Real Labs

媒体报道 Hugging Face Papers 原文语言:中文

本文推出了 TwinLab-Bench 基准测试,用于评估 AI 科学家在物理科学、生命科学和工程学等领域的 52 个任务中自主设计实验的能力。每个任务都配有 TwinLab 代理作为执行环境,将 agent 的报告与真实实验室记录进行对比评分。测试表明这些任务对前沿模型而言依然艰难,最强的 Claude Fable 5.2 平均得分也仅为 45.0。

全文

AI 代理正日益被期望充当 AI 科学家,这需要三种日益开放的能力:正确执行给定的计算工作流、从给定的设计空间中选择下一步测量,以及自行设计实验。现有基准主要评估前两种能力,采用终端或在预定义候选项中选择的闭环。评估第三种能力需要可靠地执行代理设计的实验,并以真实实验室的读数为依据。我们推出 TwinLab-Bench,它在来自物理科学、生命科学和工程学实验室的 52 项任务中评估 AI 科学家的自设计实验。该基准支持超过 100 种实验操作类型,代理的报告通过与真实实验记录中的隐藏答案比较进行评分。每个任务都有其专属的 TwinLab 代理,该代理充当环境并执行被测代理设计的实验,读取实验室的原始材料并调用基于其记录构建的计算器。与仅看到任务描述的语言模型相比,TwinLab 代理几乎消除了与真实记录不符的读数以及对重复请求的不一致答案,闭卷探测则控制了从记忆中召回的答案。我们发现这些任务对前沿模型仍然困难:表现最好的 Claude Fable 5.2 平均得分仅为 45.0,我们还对其失误之处进行了实证研究。

查看 arXiv 页面 查看 PDF 项目页面 GitHub 3 添加到收藏

正文为 AI 译文。

参考来源

← 返回每日AI报告