前Deepmind研究员提出用AlphaGo方法解决AI幻觉

前Deepmind研究员Thore Graepel希望构建能够追踪自身知识并对照证据检查每个结论的AI系统。他的团队认为，更大的语言模型无法解决这个问题。Graepel相信，让AlphaGo在2016年击败围棋职业选手李世石的相同理念可以使AI系统更可靠，包括在机器人中。这位前Deepmind研究员创立了Metis Reasoning，并在Nvidia的GTC会议上阐述了这一方法，该会议地点在柏林，Nvidia一直在扩展其用于机器人和物理AI的平台，目标是把机器人数据问题转化为计算问题。

知识账本而非嵌入模型权重 现今的语言模型只是AlphaGo的预测网络，该网络建议可能的走法。AlphaGo将这个网络与对游戏序列的系统搜索相结合，发现了著名的走法37，这个走法对于一个人类玩家来说，其可能性大约是万分之一。Metis希望将这种搜索应用于一般推理。Metis Reasoning将AlphaGo的构建模块应用于一般推理，其中明确的知识状态取代了棋盘的作用。

Metis希望将那些原则扩展到现实世界中的开放性问题。其知识账本记录了已知内容、系统的置信度以及哪些问题仍然是开放的。一个单独的模块将新条目与计算、形式证明或经验证据进行核对，当某个假设消失时，所有依赖于它的结论都会被重新评估。一个“走法”可以是一个问题、一个实验或对现有假设的挑战；系统会选择最能减少关于原始问题不确定性的那个，最终给出答案或合理的回避。

在Metis Reasoning的方法中，只有当独立的检查认为它得到了充分支持时，推理步骤才会改变系统的知识状态。与AlphaGo一样，两个神经网络提出并评估走法，它们在记录的先前调查基础上进行训练，但无法覆盖验证规则。Metis表示，这种设置应该能减少幻觉、带来源引用的解释，以及可以更改或删除而无需重新训练的知识。

由于推理被分解成小步骤，这种方法也可能有利于在边缘设备和机器人上运行的较小模型。公司仍然不够信任语言模型以部署它们。更多的数据和计算可以提高语言模型，但不会解决该技术的基本问题，根据Metis的说法：模型编造答案，它们的推理链无法验证，它们的知识被锁定在权重中。幻觉来自训练过程本身，论文认为，因为模型学习生成看似合理的文本而不是真实的文本，而且即使是当今推理模型中的思维链也往往无法显示答案是如何实际得出的。这就是为什么AI到目前为止经济影响如此之小的原因。当代理代表公司行事时，错误很难追溯到其来源，错误的知识也无法从模型中删除。AI在软件工程中兴起，因为代码易于测试和回滚，但在医学、金融、芯片设计和机器人领域，论文认为，AI需要从根本上进行可验证性。

白皮书只描述了一个研究计划，没有工作系统，没有基准，也没有与当前推理模型的比较。团队承认，现实世界与围棋不同，只提供部分信息，证据可以是