Sutton批评单纯算力提升AI

苦涩教训的发明者对大型语言模型爱好者们有一个苦涩的教训。其他研究人员也表示赞同。

在最近的一篇文章中，图灵奖得主理查德·萨顿表示，单纯的计算能力不足以实现智能。人工智能科学需要聪明的新方法，并且“远未完成。”他的文章引发了人工智能社区在X上的广泛讨论，这表明萨顿击中了要害.

在他的著名的2019年文章《苦涩的教训》中，萨顿认为，随着计算能力扩展的通用方法最终会胜过复杂的人工设计方法。重要的是那些随着计算能力增长而发展的思想，而不是依赖于人类假设的思想.

萨顿的立场并非新事物。在早期的声明中，他批评了单纯扩展大型语言模型的局限性。他认为合成数据是一个“大错误”，因为现实世界是无限复杂的，对它的任何模拟都只是“微观的。”人类专业知识作为瓶颈阻碍了真正的扩展.

相反，他呼吁具有世界模型的智能体，它们能从自己的经验中不断学习。世界比互联网文本所能捕捉到的要复杂得多，而且萨顿认为，当今的语言模型在训练后不再学习。需要的是在不破坏旧知识的情况下进行持续学习.

受到审视的大型语言模型

人工智能研究员杰里·特沃克，像许多人一样离开了OpenAI，这是一家主要的AI公司，去探索新的AI方法，将萨顿的最新声明置于背景中。苦涩的教训仍然有效，但随着更多的计算能力投入到模型训练中，算法的重要性就越大，特沃克写道.

一些算法可以扩展，另一些则遇到了死胡同，而且许多扩展的维度完全未被探索。Transformer扩展的暂时成功，加上对苦涩教训的误读，“已经奖励劫持了一代科学家的头脑。”

人工智能研究员杰登·Teoh 从另一个角度补充。他说他反复看到苦涩的教训阻碍了学术研究，有前景的想法因为偏离其精神太远而被忽视。Teoh认为，这不是萨顿的错，而是对原始信息的误读.

Teoh 还认为，那些在回顾时似乎没有遵循苦涩教训的想法，往往被更干净、更通用的方法所取代。他说，这并没有让那些想法错误；它们往往是当时推动进步的关键。他希望研究界不要一出现这样的工作就将其拒之门外。 “一个想法不一定需要永远生存下来才能对人工智能的进步做出重要贡献，”Teoh写道.

萨顿呼吁新的学习方法与特沃克对盲目Transformer扩展的批评之间的紧张关系体现在日益增多的创业公司中。在最新的《前沿雷达#5》中，我们追踪了45家押注这些差距的新人工智能实验室.

特沃克自己运营 Core Automation，这是其中的一家实验室，正在寻找超越预训练和强化学习的算法。这些创始人，包括拥有Oak Lab的萨顿，都相信更强大的AI，但怀疑仅靠今天的方法就能实现目标.

行业领袖们对此看法迥异。OpenAI CEO Sam Altman 认为大规模语言模型扩展远未结束，并指责批评大规模语言模型的人因过于确定扩展不能做什么而拖慢了一代研究人员的前进速度。

作为证据，他提到了OpenAI最近证伪了一个数学家们长期未能破解的猜想。他认为世界模型有用，例如在机器人领域，但说数据明确支持进一步的大规模语言模型扩展。

Anthropic CEO Dario Amodei 持类似观点，称扩展进步是一条没有尽头的彩虹。作为两家完全依赖这一赌注的AI公司的CEO，Amodei和Altman显然对其持有利态度。

订阅THE DECODER获取无广告阅读、每周AI简报、我们独有的“AI雷达”前沿报告每年六次、完整档案访问以及访问我们的评论区。