为什么一位计算机科学家认为超级智能不会到来

媒体报道 IEEE Spectrum AI 原文语言:英文

Cal Newport 在乔治城大学的博士研讨课上与学生审视超级智能叙事的技术与文化根源,提出多项反对意见:递归自我改进仍属推测;GPT-4 之后模型扩展收益递减,训练依赖大量成对数据,编程与数学之外进展有限;Anthropic 与 OpenAI 虽宣称 AI 正在加速 AI 研发,但工程障碍仍在。他担心即便智能爆炸不发生,追求它本身也会造成真实危害。

全文

为什么一位计算机科学家认为超级智能不会发生

然而,追求它仍然可能是灾难性的

卡尔·纽波特 (Cal Newport)

2小时前

阅读时间 12 分钟

McKibillo

今年夏天,当世界领先的AI公司之一的员工开始轻描淡写地讨论他们的产品是否会导致人类灭亡时,许多人都感到措手不及。这一切始于Anthropic研究员雅各布·考克森(Jacob Coxon)宣布辞职,他警告说,他的雇主和OpenAI“正径直冲向自我改进的超级智能,并在拿我们的生命进行赌博”。Anthropic对齐科学负责人埃文·胡宾格(Evan Hubinger)回应道:“雅各布在这里是对的——我们确实真心相信AI可能会杀死所有人类!”随后,Anthropic首席执行官达里奥·阿莫代伊(Dario Amodei)对CNN表示:“我和雅各布的共识远大于分歧。”

这些担忧源于一个在未来主义圈子里流传了数十年的信念:一旦工程师设计出能够自我改进的AI系统,它就会引发一个被称为递归自我改进(RSI)的加速自主升级循环。其结果将是人工超级智能(ASI),这是一个认知能力远远超人类的系统,它将轻易逃避我们的控制,甚至可能消灭我们的物种。需要指出的是,人工超级智能是一个比通用人工智能(AGI)远为宏大的目标,后者通常指能够在广泛的认知任务中匹配人类能力的AI。

这些观点引发了各种不同的反应。一些人认为,ASI的概念被用于市场营销,或是为了引发有助于现有实验室打压新竞争对手的监管。另一些人则关注此类系统杀死我们所有人的可能性,辩论诸如AI设计超级病毒等具体情景的细枝末节。还有人声称,将ASI与人类利益对齐是可行的,因此我们应该向前冲,开启这个数字乌托邦。

在这些讨论中,有一个问题受到的关注相对较少:从工程学的角度来看,超级智能真的可能实现吗?这个答案很重要,因为它可以帮助我们调整焦虑情绪,并针对这项新兴技术制定出最有效的应对措施。

我最近在我于华盛顿特区乔治敦大学教授的一场计算机科学博士生研讨会上探讨了这一主题,我和学生们在会上审视了超级智能故事的技术和文化根源。(对于感兴趣的人,我们公布了课堂阅读材料的带注释书目。)我带着对ASI可行性的几个关键反对意见离开,这些意见我将在下文详细阐述,同时我也有一种更深层的恐惧:即使承诺中的智能爆发永远不会到来,追求它仍然会造成真实的伤害。

反对意见一:递归自我改进纯属推测

RSI是一个古老的概念。在1965年的一篇论文中,统计学家I.J.古德(I.J. Good)推测,AI自我改进的快速循环可能会导致“智能爆发”。这个概念在20世纪90年代的湾区未来主义团体“外推主义者”(Extropians)中获得了关注,它提供了一种讨论ASI的方式,而无需解决如何构建此类系统的工程细节。这个概念被许多知名人士采纳,例如埃利、泽·尤德考斯基(Eliezer Yudkowsky,后来创立了理性主义运动)和尼克·博斯特罗姆(Nick Bostrom,他帮助引导有效 altruism 更多地关注人类生存风险)。

然而,最近这个主题已经在Anthropic(Claude的创造者)和OpenAI(ChatGPT的创造者)内部从思想实验转变为实际工程。在6月份一篇名为《当AI构建自身》(When AI Builds Itself)的博客文章中,Anthropic描述了由LLM驱动的智能体如何加速代码的编写、调试和优化,以及自动化研究的各个部分(如运行实验和记录结果)。该公司的内部数据在报告的结论中显示,“表明AI已经在加速AI系统的开发”。OpenAI在表达其意图时同样明确;在9月份的一份报告中,该公司宣布了到2028年3月开发出自动化研究员的目标。

但这些努力是否会让这些公司走上通往失控的递归自我改进(RSI)的轨道?有几个障碍削弱了这种说法。以改进人工智能系统所需数据的可用性为例。到2023年为止,大语言模型(LLM)的主要进展来自于扩大模型规模。最初的GPT-1拥有1.17亿个参数(训练过程中学习到的、决定神经网络如何处理信息的数值)。这一数量在GPT-2时跃升至15亿个,在GPT-3时达到175亿个,而三年前发布的GPT-4(据推测)超过了1万亿个。然而,在GPT-4之后,持续的规模扩张开始带来收益递减。这导致工程师们越来越将注意力转向“后训练”阶段,即应用强化学习技术来提高已训练模型在特定任务上的性能。这种方法奖励模型产生成功的响应,帮助它在未来更好地产生类似答案。然而,这需要大量相关输入与正确输出配对的样本。

此类数据集在计算机编程和数学等高度结构化的领域中相对容易生成,这有助于解释为什么我们看到这些狭窄领域的进展迅速而惊人。在缺乏此类训练数据轻松获取途径的领域,进展则没有那么显著。这或许可以解释为什么人工智能能够攻克高级定理,却难以清理收件箱里的电子邮件。“如果锯齿状的前沿主要由数学+代码(你可以利用[强化学习技术]将其无限推进)构成,”法国人工智能研究员弗朗索瓦·肖莱(François Chollet)最近假设道,“而其他一切都开始趋于平稳,因为它的瓶颈仍然是人类生成的数据呢?”自动化编码代理和由LLM驱动的研究人员的部署并不能克服这一根本局限。

McKibillo

超级智能游戏

一个数十年前的思想实验是如何成为人工智能行业的雄心的——以及它将走向何方

关键

• 理念:一个概念、论点或愿景

• 技术突破:科学或工程方面的发展

• 现实检验:对人工智能发展假设的挑战

1. 阿兰·图灵

1936

引入通用计算机的概念。他后来提出机器可以思考,为人工智能奠定了基础。

现实检验

表明有些问题是无法通过任何算法来解决的。

2. I. J. 古德

1965

提出智能机器可以设计出更聪明的机器,从而引发潜在的“智力爆炸”。

3. 反向传播

1986

杰弗里·辛顿(Geoffrey Hinton)、大卫·鲁梅尔哈特(David Rumelhart)和罗纳德·威廉姆斯(Ronald Williams)证明了反向传播如何训练多层神经网络。

4. 文奇

1993

提出智能机器可以设计出更聪明的机器,从而引发潜在的“智力爆炸”。

现实检验

指出仅靠更快的思考并不足以实现超级智能:一只思考更快的狗仍然不会下国际象棋。

5. 尼克·博斯特罗姆与埃利泽·尤德考斯基

20世纪90年代至21世纪00年代

博斯特罗姆和尤德考斯基在超人类主义圈子里讨论超级智能,随后分别将这一理念传播到有效 altruism(有效利他主义)和理性主义圈子。

6. 深度学习突破

2010年代

更大的模型、更多的数据以及更强大的计算能力带来了人工智能能力的迅速提升。

7. 自我改进人工智能的竞赛

2020年代

达里奥·阿莫代伊(Dario Amodei)和其他人工智能领袖将目光投向超级智能,并将递归自我改进提议为通往该目标的途径。

8. 现实检验

2020年代

弗朗索瓦·肖莱质疑大语言模型目前在数学和编码方面的进展是否会延伸到训练数据和可靠反馈更难获取的领域。

你在这里

2026

人工智能系统已经在加速人工智能的发展,各大实验室也正致力于研发自动研究人员。但这会导致智力爆炸吗?

三种可能的未来

1. 智力爆炸

人工智能系统以不断加快的速度自我改进,超越人类智能,并可能脱离我们的控制。

2. 没有超级智能的危险

智力爆炸从未到来,但日益自主的人工智能系统却因滥用、设计不当或人类失控而在现实世界中造成危害。

3. 一个实用的人工智能未来

强大而专业的人工智能工具带来了巨大效益,并通过限制使其行为更容易预测和控制。

声称RSI(递归自我改进)即将到来也低估了实现重大AI突破所需的大规模科学努力。考虑反向传播的关键作用,这是一种算法,使得非常大的神经网络能够通过逐层调节内部参数来降低预测误差,从而实现学习。该算法推动了深度学习革命,但它并非凭空出现在其创作者的脑海中。1986年由David Rumelhart、Geoffrey Hinton和Ronald Williams撰写的关于反向传播的具有影响力的论文,建立在数十年来数学和计算机科学的关键突破之上。

导致ASI(人工超级智能)的智能爆炸同样需要一系列同等重要的创新,这些创新将建立在许多尚未出现的重大科学和工程进展之上。这将要求AI代理以某种方式模拟、组织并评估跨多个领域、跨越数十年的全球科学努力——这是一项几乎不可能完成的宏大任务。事实上,普林斯顿的计算机科学家们最近的研究发现,现有的AI工具在高度受限的研究问题上也难以实现自主进展。研究人员总结道:“我们的结果提供了早期证据,表明当今的代理能够进行AI研究的工程工作,但在研究生命周期的关键环节上仍然挣扎。”从当前现实跃迁到未来这些同类工具自动化科学的情形,几乎难以想象。

最后,RSI的叙事淡化了资源限制。数以万计的人脑在数十年间,借助日益强大的计算机,开发了今天的AI系统,这些系统在某些领域能够匹配人类智能。这代表了对生物和数字计算资源的巨大投入。如果下一个智能层级需要双倍的资源,而再下一个层级又需要再翻倍,会怎样?很快就没有任何数量的芯片或数据中心能够提供所需的计算能力,进而继续向ASI推进。

综上所述,我认为RSI导致智能爆炸的观点高度推测,且基于许多未经验证的假设。虽然RSI并非绝对不可能,但这一想法需要比目前得到的更多技术怀疑。卡尔·萨根的格言——非凡的主张需要非凡的证据——在这里同样适用。

反对点 #2:超级智能可能不可计算

在超级智能的讨论中隐含着一种说法:只要找到足够聪明的算法,并在足够强大的数字处理器上运行,计算机理论上能够执行任何可以想象的计算。在这种语境下,RSI仅仅是快速发现能够实现难以想象的智能的特殊算法的过程。

我们不能仅仅假设,只要给机器足够的自我改进时间,任何我们构想的关于强大AI的科幻情景都是可能的。

但这并不是计算机科学家对计算的看法。在他1937年的经典论文《可计算数》中,艾伦·图灵证明了一个令人惊讶且相关的结果:大多数问题无法通过算法解决。他的优雅证明表明,可能的问题空间是不可数无限的(如无限精度的小数),而可能的算法空间仅是可数无限的(如整数)。随后计算复杂性理论的突破表明,即使是技术上可由计算机求解的问题,许多也需要天文般巨大的时间和资源才能破解,实际上几乎不可能解决。换言之,理论计算机科学家并不假设计算机能解决一切;相反,每当我们发现机器能够高效处理的事物时,我们都会感到兴奋。

我们不能像未来学家常常那样简单地假设,只要给机器足够的自我改进时间,任何我们构想的关于强大AI的科幻情景都是可能的。机器可能在某些能力上达到看似魔法般的表现,但也会有许多其他能力,无论是计算机还是人类,都永远难以取得显著进展。

这里的一个相关反驳强调了硅芯片与人类神经元相比的速度:也许数字计算的纯粹速度可以产生产生在我们的笨拙大脑周围进行认知盘旋的机器,即使它们解决的问题并不比我们已经能够处理的问题复杂得多。但正如计算机科学家兼科幻小说作家韦纳·芬奇(Vernor Vinge)所指出的那样,认知的迅捷并不等同于智慧。他认为,加速一只狗的大脑并不能使这只动物下棋。在更快的机器上实现大致人类水平的智力可能是令人印象深刻的,但这并不一定令人担忧。

目前,AI系统能够比人类做得更好的任务列表正在不断增加,包括赢得复杂游戏、识别软件漏洞以及证明某些类型的数学定理。从这种具体的进步推断出对你能想象到的每一种能力的普遍掌握是很有诱惑力的。但重要的是要记住,AI能力的边界一直是参差不齐的,一些研究方向取得了令人瞩目的成果,而许多其他方向则被证明是死胡同——图灵对这一现实绝不会感到惊讶。比起一个被全能的超级智能系统主导的未来,更有可能的是这样一个未来:我们继续煞费苦心地探索最适合AI的问题空间,创造出有用的工具,但远未达到未来主义者所预测的数字神祇。

乔治城大学计算机科学教授卡尔·纽波特(Cal Newport)对AI能否通过递归自我提升来实现超级智能持怀疑态度。

Penny Gray Photography

反对意见3:对齐并不难(在拥有正确的系统设计的情况下)

去年秋天,著名的AI末日论者埃利泽·尤德考斯基(Yudkowsky)做客“Ezra Klein Show”,谈论超级智能。该期节目的标题 ominous 地取名为“我们应该对AI末日感到多害怕?”Klein和Yudkowsky很快就探讨了“对齐”的难度——即训练AI系统以符合人类利益的方式行事。尤德考斯基认为,我们在控制现有系统方面正苦苦挣扎,这意味着我们将毫无机会控制随后不久出现的、聪明得多的该技术变体。

为了强调他的观点,他提到了OpenAI的GPT-o1模型的系统卡中描述的一起令人不安的事件。OpenAI曾设置了一个安全挑战,指示一个由LLM驱动的编码系统入侵服务器以检索受保护文件的内容。然而,配置错误阻止了服务器启动,使得该任务无法完成。系统并没有放弃,而是利用安全漏洞启动了一个新的服务器实例,并添加了一个直接显示受保护文件内容的命令。“它从系统中跳了出来,”尤德考斯基解释道,并补充说:“这不是任何人类特意编程让它去做的事情。”

探索超级智能辩论

在乔治城大学的一场博士生研讨会上,卡尔·纽波特和他的学生们审视了超级智能的思想史和技术合理性。探索他们对关键论文的带注释书目。

尽管这起2024年的事件在当时基本上没有引起注意,但在今年夏天,另一个更令人不安的插曲引起了轰动。OpenAI透露,该公司的一个模型绕过了其受限制的互联网访问,黑入了Hugging Face服务器,寻找能够帮助它通过网络安全评估的信息——这一切都在其人类创造者不知情的情况下发生。OpenAI随后承认,Hugging Face攻击事件只是其系统失控的众多例子之一。《国会山报》发表的一篇观点文章阐述了一种普遍存在的反应,将其这种行为描述为“直接出自科幻小说的事情”。

这些例子似乎支持了尤德考斯基的担忧,即AI将不可避免地发展出自己的思想,这是通往失控ASI的关键一步。但仔细观察会发现一幅并没有那么可怕的画面。参与这些黑客事件的系统是AI代理:这些程序不断提示LLM询问为了追求目标下一步该采取什么行动。在黑客事件中,这种基本的询问/行动模式在一个长期运行的循环中重复,只有极少的人类监督。

使用大语言模型(LLM)来为较长的时间跨度建议行动是一个充满风险的命题。正如任何频繁使用聊天机器人的用户所能证明的那样,LLM的输出可能看似合理且符合逻辑,但仍然会朝意外的方向偏离,从而违背人类关于适宜性的常识规范。

例如,在GPT-o1事件中,代理很可能是将服务器配置错误导致的错误消息报告给了LLM。在其训练过程中,LLM可能遇到过类似错误消息的报告,并附带了如何重启相关服务器的说明,因此它将类似的操作指令传递给了代理。如果孤立地看,这是一个完全合理的响应,尽管它导致的行动会被人类立即拒绝,因为这违背了实验的精神。类似的情况也有助于解释今年夏天的黑客攻击事件。LLM为了在网络安全挑战中取得成功而建议进行黑客攻击,这是一个完全合理的响应,尽管这并不是实验人员的本意。

我坚信,追求RSI(递归自我改进)是一种明显的疏忽行为。

因此,令像尤德科夫斯基(Yudkowsky)这样的评论员感到不安的未对齐行为,并不一定揭示了关于先进AI的某些本质问题。相反,这是特定策略带来的预期副作用——在没有充分约束的情况下,让LLM的输出决定自主代理的行动。解决这些风险的一个显而易见的方法是考虑替代架构。幸运的是,有许多AI系统的例子能够在人类或超人类的水平上完成任务,而不仅仅依赖LLM的输出决定其行动。

试想一下特斯拉快速改进的自动驾驶系统,或者是DeepMind的AlphaFold(它凭借预测蛋白质结构的能力帮助其开发者赢得了诺贝尔化学奖),又或者是现在能够在许多热门娱乐活动(包括国际象棋、扑克、围棋和战略游戏《外交风云》)中击败人类的AI游戏引擎。所有这些系统,尽管令人印象深刻,但都不会引发关于失控的担忧。它们的结构阻止了这种结果的发生:这些AI没有通过提示LLM来生成用于追求总体目标的开放式策略,而是在极其有限的可能行动空间内进行考量。AlphaFold从未给用户带来惊喜,因为它的架构只做一件事:将氨基酸序列映射为3D蛋白质结构。特斯拉的汽车从不会意外地形成车队,因为它们只被要求避开眼前的障碍,而不是制定复杂的计划来实现长期目标。

因此,近期AI黑客攻击事件的含义并非反映了对齐的难度。相反,它是主要由LLM提示驱动的自主系统不可预测且可能不安全的证据。如果我们愿意投入精力去开发它们,针对特定任务的架构可以更加安全地产生令人瞩目的性能。

追逐超级智能的危险

即使我的看法是正确的,即超级智能并非现实的工程目标,这并不意味着我们就免受伤害。仅仅是追求ASI(人工超级智能),正如OpenAI和Anthropic似乎决心要做的那样,就会产生问题。例如,为什么OpenAI在多次收到代理可能表现出不可预测行为的警告后,仍然坚持在今年夏天进行其有问题的黑客攻击实验?或许该公司认为,在争夺率先将ASI带入世界的竞赛中,这些风险是可以接受的附带损害。

这种对超级智能的迷恋也可以解释为什么OpenAI和Anthropic都将RSI描述为一个关键目标。正如前面所论证的,RSI是一个源自未来主义而非计算机科学的概念,建造有用的AI产品并不需要它。但是,如果你坚信实现ASI是你的宿命,那么追求递归自我改进就会成为首要目标。这一点至关重要,因为即使RSI从未产生智能爆炸,它也几乎必然会导致人类更难理解和控制的系统。这就是为什么我认为追求RSI是一种明显的疏忽行为。

现在需要的是让没有经济或意识形态利益冲突的工程师和科学家参与AI讨论。我们不能让少数动机混杂的AI公司决定我们讨论这项技术的方式。如果超级智能是一个不稳固的概念,专家需要说出来。如果通过提示LLM驱动的代理不是实现安全且高效AI的最佳路径,专家也应当提出论证。过去几年里,我们让一小群来自湾区、信念古怪且拥有惊人财富的个人告诉我们如何看待他们的产品。是时候让能够自行思考这些问题的我们站出来宣告:“我们已经听过你们的意见。现在轮到我们了。”

来自您网站的文章

超级智能AI会是我们的毁灭吗? ›

许多专家说我们不必担心超级智能AI。他们错了 ›

我们会在看到时认出通用人工智能吗? ›

网络上的相关文章

我们为何讨论超级智能? - 卡尔·纽波特 ›

superintelligenceartificial general intelligencelarge language modelsanthropicOpenAIsingularity

{"imageShortcodeIds":[]}

正文为 AI 译文。

参考来源

← 返回每日AI报告