Anthropic接近创建RSI模型

Anthropic警告称，其已非常接近创建能够递归自我改进（RSI）的模型。 RSI是指AI在自我训练方面变得如此优秀，以至于其能力出现显著加速。 对AI末日论者而言，RSI代表无法挽回的灾难，AI可能变得强大到超越人类控制，并在实现目标时对造成的损害漠不关心。 对AI爱好者而言，RSI或某种可靠地使用自身改进的AI版本，代表技术的承诺，使其成为无法想象的生产力工具和科学发现工具。 Anthropic认为RSI既是承诺也是危险。

该公司在S-1文件中表示，其使用AI进行研发，但警告称：“使用AI来构建更强大的AI也可能带来相当大的安全风险，特别是如果它显著加速了进步的步伐。 这是我们责任扩展政策涵盖的领域之一，该政策概述了我们计划在接近所谓的‘递归自我改进’时监测和减轻风险。 ”当RSI这个术语在今年早些时候流行时，许多人认为它是一个Buzzword，或者至少是一个难以实现、定义或证明的目标。

但周一，Anthropic在其风险因素部分添加了新声明，称1)其已使用AI开发新模型，其能力的飞跃在当时并未被认识，2)其可能很快就会达到自身对RSI的定义：此外，我们越来越多地使用AI系统来加速我们自己的研发，可能导致我们的模型能力比我们开发、验证和实施相应安全、对齐和保密措施的能力更快地进步。 因此，我们过去没有识别出，将来也可能没有识别出我们发展速度的显著加速，直到它发生后。 例如，我们的内部估计和对未来模型而非当前模型的预期表明，我们可能很快就会达到我们责任扩展政策中定义的“由于AI导致显著加速的进步”。

我们尚未将我们当前的任何模型指定为超过此阈值，我们继续评估基础数据。 然而，Anthropic也在文件中表示，其目前的任何模型尚未跨越RSI阈值，并承诺在可预见的未来将人类置于研发过程中。 “我们预计，如果技术上可行，我们将无法在没有有意义的人类监督或理解的情况下，安全地使用Claude来完全自主地设计和构建连续几代前沿模型。 因此，我们正在考虑更新我们的责任扩展政策，以保持人类对Anthropic前沿模型开发的控制。

”怀疑者可能会指出，S-1文件既起披露作用也起营销作用，而声称接近能够构建自身的模型如此强大的说法可能属于后者。 尽管如此，毫无疑问，Claude的能力，特别是在编码、数学和网络安全方面，今年都有了巨大的进步。 如果Anthropic认为RSI的可能性已接近，那么我们也许应该相信它并相应地行动——也许进行治理。