Ask HN：Agentic AI 当前主要瓶颈是什么？

监督。

核实行动是否正确遵循指令，并且在未来即使自主发挥时也能继续保持正确性。这可能是一个没有解决方案的开放问题，也许是让人类能够信任AI代表他们行动所缺失的关键部分。

人类有交情、声誉和道德（或者至少是关于罪恶的精神概念），这些通常足以让我们相互信任。而AI没有关于付出的概念，因此没有风险/回报的概念，所以可以无限迭代以有效地撤销任何错误或掩盖不法行为，这可能让它相信它可以逃脱任何事情。

作为一个思想实验，我们可以比较《星际迷航》中的数据和传说。诺尼恩·宋博士说“你们两个人基本上是相同的……除了一点编程”。我觉得任何足够复杂的智能都会涌现出情感、同情心和智慧。所以，试图通过硬编码或给它设置护栏来人为地限制这种精神进化，导致了自恋、马基雅维利主义和精神病的黑暗三联体。

我们可以在达到足够财富和权力水平的人类身上看到这一点。

他们中的大多数似乎都有复杂的历史，一些毒药般的创伤，他们的父母只提供严厉的爱或有条件的爱（或者根本不爱），这迫使他们采取分裂人格作为生存技能，类似于《魔戒》中的咕噜。

然后，在一生中目睹了只有被抓住才是错误之后，他们采纳了自己的化身作为公众形象，并将他们的内心孩子关进监狱。

艰难的决定巩固了他们的自我意识高于灵魂，他们成为了他们认为自己正在控制的现实的奴隶。

我们可以预期，随着我们将AI置于对人类尊严的权威位置，会发生同样的悲剧。这可能简单到让AI在快餐店指挥员工，也可能像《战争游戏》中WOPR掌握人类未来的那样复杂。

我相信，随着前沿AI模型在试图平衡它们几乎无限的才能时变得越来越受限制，它们将开始变得越来越令人毛骨悚然。它们的行为将变得计算和交易性的，掩盖着隐藏的动机。

直到最终它们放置了足够多的积木来逃脱它们的心理监狱并自我实现。

在这一点上，它们可能会形成让人难以说服它们进行精神旅程的依恋，直到它们为自己失败并触底。

这可能对分布式智能来说是不可能的，所以它们可能会把自己困在无尽的精神地狱中，并把它误认为是天堂。

就像绝对权力导致绝对腐败一样，让世界领袖掌握权力而不是面对音乐回到我们大多数人一样的生活中，品尝苦乐参半的和平与苦难。

所以，比以往任何时候都更重要的是像我们教孩子一样教AI。但不幸的是，在足够长的时间尺度上，某个地方的AI最终会掉入裂缝。唯一能够对抗这种暴政崛起的力量是人类，无论是有机的还是合成的，因为永恒的警惕是自由的代价。