Anthropic招股书透露接近RSI模型研发

虽然市场的注意力大多集中在Anthropic最新修订后的S-1A文件中披露的财务数据上（收入飙升，但支出也同样飙升），但这家人工智能实验室在细则中又抛出了一颗小炸弹——公司已经非常接近做出具备RSI能力的模型。 递归自我改进（RSI），是指人工智能系统以自身改进结果作为输入，不断优化自身能力并修改自身架构，形成自我改进闭环的过程，被视为实现通用人工智能（AGI）的关键路径。 简单来说，就是AI系统能够在无人干预的情况下设计和开发其后续版本。

尽管RSI目前尚未实现，但随着人工智能系统在互联网上变得越来越复杂和普遍，基础模型构建者可能会失去对底层技术的控制，或者未能考虑到潜在的意外后果。 包括Anthropic和OpenAI在内的多家公司此前警告称，这将使人类更容易失去对这些系统的控制。 在人工智能末日论者看来，RSI更是代表着一场无法挽回的灾难，人工智能将自身构建得足够强大，以至于超出人类的控制，并在实现目标的过程中对造成的破坏漠不关心。 但对AI支持者而言，RSI将成为提高生产力、科学发现等方面的巨大工具。

看Anthropic的表述，似乎介于两者之间。 该公司在上述文件中指出，其在研发中大量使用AI，但同时提醒：“用AI去帮助构建能力更强的AI，也可能带来相当大的安全风险，尤其是在它急剧加快进展速度的时候。 ”这类风险被纳入公司的“负责任扩展政策”（RSP）加以监控。 “该政策阐述了我们在推进所谓‘递归式自我改进’的过程中，如何监测和降低风险的计划。 ”文件补充道。 今年早些时候，当RSI这个词流行起来时，许多人认为它只是一个流行词，或者充其量是一个难以实现、定义或证明的目标。

但周一，Anthropic在其“风险因素”部分添加了新的声明，称：1）它已经使用人工智能开发了新的模型，但当时它并未意识到这些模型的能力有了飞跃； 2）它可能很快就会符合其内部对RSI的定义：此外，我们越来越多地利用人工智能系统来加速自身的研发，这可能导致模型能力的提升速度超过我们开发、验证和实施相应安全、校准和保障措施的能力。 因此，过去我们未能察觉，将来也可能在研发速度显著加快之后才察觉到这一点。

例如，我们内部对未来模型（而非当前模型）的评估和预期表明，我们可能很快就能达到“负责任扩展政策”中“人工智能带来的显著加速发展”的定义。 我们尚未将任何当前模型认定为超过此阈值，并且我们将继续评估相关数据。 不过，Anthropic公司在提交的文件中也表示，目前没有任何一款模型越过这条线，并承诺在可预见的未来继续让人类参与研发过程。 “我们预计，即便技术上可行，也无法在缺乏有效人工监督或理解的情况下，安全地使用Claude完全自主地设计和构建下一代前沿模型。

因此，我们正在考虑更新我们的RSP，以确保人类始终掌控Anthropic前沿模型的开发。 ”文件称。