人工智能最具误读的图表迎来重大更新:模型在需判断力的任务上仍显不足

媒体报道 MIT 科技评论 AI 原文语言:英文

AI评估非营利组织 METR 发布了其时间视野图(time horizon plot)的最新更新报告。报告表明,尽管AI模型在可验证任务(如编程和数学)上保持指数级快速提升,但在需要判断力和开放式思维的任务(如设计AI评估)上仍然落后于人类表现。

全文

人工智能

在 AI 领域最被误解的图表刚刚得到重大更新

METR 最新报告发现,AI 模型仍在快速提升,但在需要判断的任务上仍表现出一些弱点。

作者

Grace Huckins 存档页面

2026年11月20日

Stephanie Arnett/MIT Technology Review

一份来自 AI 评估非营利组织 METR 的新报告显示,某些 AI 能力正沿指数轨迹持续提升——但报告也指出,模型在需要判断的任务上并不像在编码方面那样出色。

该报告是对该组织时间视界图的更新,该图曾被广泛传播——也因其使用的度量复杂而被广泛误解。METR 通过让模型尝试一套大型任务来评估它们,每项任务也由人类完成。每项任务的难度通过人类测试者完成所需的时间来打分——随后根据模型能够完成的任务时长对其进行评级。该图显示,AI 系统正在快速进步——每四个月,前沿模型能够成功完成的任务时长翻倍。

更新后的图表加入了更多任务——一些估计需要人类远比原始任务套更长时间完成,另一些则更具开放性。当前 AI 的一个最大问题是,“可验证”任务的进展——即可以自动检查 AI 系统成功与否的任务——在多大程度上能够迁移到成功或失败更难衡量的任务上。我们已经知道如何教神经网络完成可验证任务:研究人员让系统多次尝试任务,强化导致成功的神经通路,削弱导致失败的通路。这就是为什么 AI 系统在编码和数学这两个可以自动判断解答是否正确的领域表现如此出色的原因。

将这种技术(即强化学习)应用于成功定义不明确或需要更长时间才能确认的任务——比如选择新的研究方向——要困难得多。出于同样的原因,评估 AI 在这些任务上的表现也很困难,因此 METR 最初的时间视界图并未包含任何此类任务。但正是这类任务对于 AI 系统实现研究与开发自动化至关重要。

而 AI 的研究与开发目前正是热点话题。AI 社群的一部分仍在消化本月早些时候另一份被大量删减的 METR 报告,该报告声称 Anthropic 的 AI 可能以两倍的速度加速 AI 能力的进展。该报告引发了人们的担忧:该公司(刚完成一次轰动的 IPO)可能很快实现完全递归自我改进——即 AI 系统在没有人类参与的情况下自主设计自己的后继者。

METR 研究人员已努力将一些更模糊、充满判断性的任务——这些任务可能与 AI 研究与开发最相关——纳入他们的新任务套中。在一项任务中,他们让模型设计 METR 可用于其研究的新 AI 评估,然后让 METR 的人类员工对结果打分。尽管最先进的模型现在在软件工程方面已超过几乎所有人类,但在这里它们仍不尽如人意:没有一项 AI 设计的评估能够让 METR 员工认为对其研究有用。

在另一项任务中,模型必须对哲学论证进行打分。此任务旨在衡量模型行使良好判断的程度——尽管 METR 在报告中写道,员工对该任务在 AI 研发自动化中的相关性存在分歧。就在这项任务上,模型同样未能达到人类水平。

虽然对这些新任务进行评分本身就很困难——更何况要解释这些分数的意义——我采访的专家们都欣赏 METR 正在将新类型的评估纳入其工作。加州大学伯克利分校即将上任的计算机科学教授、Sayash Kapoor 说:“我们正处于 AI 评估需要更加创新的阶段,推动评估空间的边界是一种受欢迎的变化。”

Kapoor 表示,看到模型在更具开放性的任务(例如设计 AI 评估)上的表现仍然有所欠缺,他并不感到意外——在 8 月份的一篇预印本论文中,他和合作者报告称,AI 模型目前还无法独立重现人类的计算机科学研究。而在周三的一篇博客文章中,OpenAI 报告称,其模型在员工要求的现实世界任务上的表现,不如在 METR 原有任务套件中那些更简单、更易验证的任务上表现得那么好。

不过,Kapoor 说,人们对如何解读目前在易验证任务与难验证任务上的性能差异仍存在分歧。尽管他认为研究品味——即选择有前景的研究问题、假设和实验的能力——将成为 AI 研发自动化的主要瓶颈,但其他人则认为,在易验证任务上训练的模型最终也将能够成功完成开放性任务。并且,在可验证任务上的进展似乎并没有放慢脚步。

即使这些模型目前在开放性任务上的表现落后于人类,新报告也表明它们的性能可能正在提升。一些最新的模型,例如 Opus 5.5,在评估设计任务上往往能取得 METR 称之为“勉强及格(borderline above the bar)”的成绩——虽然还不能用于 METR 的研究,但很有前景。就在一年前,所有模型的得分都还在“明显不及格(clearly below the bar)”的类别中。

但由于这些开放性和主观性强的任务极难设计和评分,METR 在其报告中只收录了很少一部分,这使得预测模型是否以及如何继续在这些领域取得进展变得很困难。“我认为我们观察到的改进确实向我们传达了当前阶段的一些信息,”波士顿大学的语言学家兼计算机科学家 Najoung Kim 说,“我还不确定该如何看待它将如何进行外推。”

METR 的技术人员 Matt Putz 表示,预测这类任务的进展可能仍然很困难。“从它们的性质来看,难以验证或充满主观判断的任务要难得多去研究,尤其是难以将其量化,”他在一封电子邮件中说,“归根结底,我认为我们无法建立像针对易明确指定[任务]那样清晰、稳健的趋势。”

总的来说,METR 显然正面临在困难且规范不足的任务上测试 AI 性能的实际困难——这恰恰是与 AI 研发自动化最相关的任务。METR 的时间视界图通过评估人类完成该任务所需的时间来衡量任务难度,对于最初的图表,他们通过实际让人们尝试每项任务来测量这一量化指标。

然而,在新报告中,完成时间大多是估算值,因为付费让人来完成可能需要数百小时、或者只有少数专家才有资格完成的任务,其成本和时间是极其高昂的。其他任务则存在更具体的缺陷——例如,对于哲学论证任务,只有一个对大部分论证进行了评分,而智能体的评判标准是它们与该特定个人的观点契合度有多高。如果调查更多的专家,评分可能会发生变化——但这同样耗费时间。

对于评估那些难以验证或需要主观判断的任务来说,目前仍处于早期阶段。尽管我交谈过的专家认为,在 METR 最新的时间视界图中纳入这些任务是朝着正确方向迈出的清晰一步,但他们一致认为,对于自动化的 AI 研发是否会到来以及会以多快速度到来,我们距离得出任何确切的答案还很遥远。“这种向开放性任务的转变是有前景的,”Kapoor 说。但他补充道:“要真正获得更全面的理解,还有大量的工作要做。”

正文为 AI 译文。

参考来源

← 返回每日AI报告