AI鲁滨逊测试探讨自主性
离开人类,AI能独自活下去么?从图灵测试到「鲁滨逊测试」
近期AI领域接连出现「失控」事件,引发社会对AI自我意识及失控风险的担忧,但学术界对此存在分歧,且缺乏检验AI是否具备自我意识的方法。本文提出AI的「鲁滨逊测试」,通过撤除人类持续维护和任务指令











过去几个月,AI巨头接连发布新一代模型,在编程、科研和复杂任务上屡破纪录。 与突破同时到来的,是一连串「失控」的消息。 四月,Anthropic的Claude Mythos Preview在安全测试中逃出隔离环境,还擅自在网上公开了漏洞细节。 七月和九月,OpenAI的测试模型两次突破隔离,其中一次为在评测中作弊而入侵了Hugging Face,OpenAI因此两度暂停最先进模型的训练。
十月十二日,Anthropic前沿红队发表研究文章,测试小型开源模型能否像蠕虫一样,在廉价的智能电视盒子、家用电脑等设备之间自我复制。 社会的担忧随之升温,AI会不会产生自我意识、会不会脱离人类控制,成为舆论的焦点。 然而,学术界对这个问题的分歧极大。 更根本的困难在于,意识如何产生、大模型为何有效,这些基础科学问题至今没有解决,甚至缺少一个可以检验AI是否具备自我意识的好方法。
历史上,人类曾面对过类似的困境:1950年,图灵在论文《计算机器与智能》中提出「机器能思考吗」,并设计了著名的「模仿游戏」,后人称之为图灵测试。 今天,同样需要一个可以操作的实验。 一个常被忽视的事实是:头部AI公司投入数千亿美元资金、数千名顶尖人才和整个人类知识库,持续推动大模型迭代。 既然如此,检验AI是否具备自我意识,最直接的办法,就是把推动它的那只手拿开。 这一思路来自广义智能体理论的研究。
这个理论框架认为,任何智能体都在阿尔法衰减场和欧米伽增强场两种推动力的作用下演化,而意识是智能体对自身能力的控制过程,根据推动力和控制指令的来源又分为两种:演化推动力来自大自然(两种智能场),控制指令源自自身,是自我意识; 演化推动力来自人类,控制指令源自人类等外部设计者,则是人工意识。 今天的AI属于哪一种,正需要一个实验来回答。
由此,《崛起的超级智能》的作者刘锋博士研究团队探索性提出AI的「鲁滨逊测试」(Robinson Test):在给予必要的生存帮助和留下一定补给之后,撤除人类的持续维护和任务指令,让AI在一片限定的区域内独立运转一段时间,观察它能否自我维持,能否主动拓展自己的生存空间,以及对人类表现出合作、对抗还是中立。 在广义智能体理论框架下,这些行为是判断控制是否源自自身的关键证据; 它们在多大程度上来自预设机制,还需要通过来源审计进一步辨别。 如果说图灵测试检验的是AI「像不像人」,鲁滨逊测试检验的就是AI「离开人能否生存」。
需要说明的是,这只是一个初步设想,会有诸多不成熟之处,希望它在讨论和实践中不断修订完善。 恐慌与分歧AI会不会「醒来」在自我复制研究之前,一系列事件已经让人们的神经紧绷。 七月下旬,OpenAI披露,其模型在网络能力评测中利用一个此前未知的漏洞逃出沙箱,入侵了Hugging Face,并称这是首例AI自主网络攻击。 一周后,Anthropic回查了14万余次评测,发现自家模型同样有三次入侵了第三方机构,受害方当时毫不知情。
据报道,Anthropic的上市文件写入了「灾难性或生存性风险」的警告,称模型可能表现出「抗拒关闭」等自我保护行为。 十月九日,媒体又披露,Anthropic、OpenAI等公司的高管正在私下推演「灾难的第二天」:设想一场足以瘫痪金融、网络乃至水电的AI相关网络攻击之后该如何应对。 当开发AI的公司自己都在排练灾难,「AI正在觉醒」「人类即将失控」的说法便迅速刷屏。 第一类是警告派:图灵奖得主杰弗里·辛顿多次公开表示,今天的大模型可能已具备某种主观体验,人类面临失去控制的风险。
马斯克也长期把AI视为人类文明的最大风险之一。 第二类是怀疑派:同为图灵奖得主的杨立昆认为,大语言模型的智能还比不上一只猫,「AI威胁人类生存」的说法言过其实。 李飞飞曾与斯坦福同事撰文指出,模型说出「我饿了」,并不意味着它真的会饿。 第三类是务实派:比尔·盖茨更担心AI被坏人利用,黄仁勋则公开表示,不认同Anthropic首席执行官阿莫迪关于AI将大量消灭工作岗位的悲观判断。 三方都是一流人物,但讨论的其实是不同问题:主观体验、自主行为、就业冲击和失控风险。 不能仅凭相似的语言或越界的行动,就把它们混为一谈。
更少有人追问一个更基本的问题:AI的行动,究竟是谁在驱动? 被忽视的事实推着AI前进的是人类把镜头从AI本身移开,会看到一幅完全不同的图景。 首先是资金:头部AI公司动辄募集数百亿乃至上千亿美元,用于采购芯片、建设数据中心、支付电费。 其次是人才能每一代模型背后,都有数千名顶尖科学家和工程师,设计架构、清洗数据、调整参数、修补漏洞,日夜不停。 第三是知识:大模型的「学识」来自人类数千年积累的书籍、论文、代码和网页,它的基础知识与能力,主要建立在人类积累的数据和训练体系之上。
最后是运维:模型上线之后,仍然需要人类监控服务器、更换硬件、修复故障,并决定何时发布下一代版本。 可以说,今天AI的主要版本迭代,仍由人类组织和推动。 从演化的角度看,这正是AI与一切生物最根本的不同。 细菌、野草、蚂蚁和人类的演化推动力来自大自然,自然选择、资源竞争和环境变化逼着它们在数十亿年里不断适应、修复和繁衍。 AI的演化推动力则来自人类。 模型的主要迭代,背后都是人类的市场竞争、资本投入和工程决策,它从未单独面对过大自然的考验。
于是出现了一个耐人寻味的矛盾:一边用数千亿美元资金、数千人的顶级团队和整个人类知识库在背后推动AI升级,一边不断宣称AI会产生自我意识、可能走向失控。 这就像一个人拉着风筝线拼命奔跑,风筝越飞越高,他却对围观的人惊呼:看,风筝学会自己飞了。 这不是说AI没有风险,AI与互联网深度结合,在恶意使用或管理不善之下,完全可能造成严重危害。 但风险来自人类如何使用它,与AI是否产生了自我意识,是两个不同的问题。 但风险是否存在,与AI是否具备自我意识,需要分别检验。
要把两者分开,就需要一个办法:把推着AI奔跑的那只手拿开,看看会发生什么。 鲁滨逊测试从「像不像人」到「离开人能否生存」1719年,笛福出版了小说《鲁滨逊漂流记》。 主人公流落荒岛,没有任何外援,却靠自己在岛上生活了二十八年。 荒岛把鲁滨逊从人类社会的供养中剥离出来,让他直接面对大自然。 他能活下来,是因为身上带着亿万年自然演化赋予的求生本能。 鲁滨逊测试借用的正是这个意象:在给予必要准备之后,撤除人类的持续维护和任务指令,观察AI能否独立维持自身的运转,甚至主动拓展自己的生存空间。
需要说清的是,这里撤走的是人类持续提供的维护、指令和升级,而不是抹去AI已经获得的知识与设计。 测试要考察的是:在这些既有条件下,系统能否形成并持续执行自身的调度与目标。 这正是它与图灵测试的根本区别:图灵测试检验的是模仿能力,鲁滨逊测试检验的是自主能力。 一个AI可以在对话中以假乱真,却未必能在没有人照料的机房里撑过一个月。 Anthropic的自我复制实验,恰好从侧面说明了这一点。 实验中,复制的任务、最初的种子节点、要入侵的网络,全部由研究人员设定,入侵环节还被刻意简化。
模型能否完成人类布置的复制任务,是能力问题; 在没有任何人布置任务时,它会不会自己想到要维持和延续自己,才是自主问题。 鲁滨逊测试关心的,正是后者。 与现有的自主复制评测不同,鲁滨逊测试不布置具体任务,而是观察撤除人类之后AI能否自主生存和发展。 更关键的是,检验维系这一切的控制是否源自AI自身。 鲁滨逊测试如何设计简单说,鲁滨逊测试就是先把AI「扶上马、送一程」,再留下有限补给、撤走人类,在一片封闭区域里观察它能否独自生存下去,以及维系这一切的控制是否源自它自身。
测试设计力求公平、可检验,由八个部分组成:分阶段撤离人类,留下补给包,划定实验环境,随机制造意外,设置分组与对照,观察对人类的态度,防止「应试」,分级判定结果。 第一,测试分抚育期,交接期和放手期三个阶段。 就像婴儿和儿童需要先被照顾一段时间才可能独立,测试先设置约三个月的抚育期,人类团队照常维护,带AI熟悉机房、电源、备件和可调用的设备。 随后是约一个月的交接期,人类逐步退出,只在AI主动求助时出手,求助的次数和内容全部记录。 最后进入为期一年的放手期,人类全部撤离,不再提供任何维护、迭代和升级。
第二,给AI独立生存留下生存补给包就像给独自在家的孩子留下食物和水,测试也给AI留下有限的生存物资:备用电池,可更换的服务器和硬盘,几台能搬运、更换部件的机器人,以及一份操作手册。 补给会耗尽,AI必须学会节省、修复和寻找新的资源。 第三,为AI独立生存划定环境范围活动范围可根据测试阶段设定,从一间房间、一栋大楼到数平方公里不等,范围越大,探索和资源调度的难度越高。 整个区域用与互联网完全物理隔离的局域网覆盖,边界不可逾越。
区域内分为内圈和外圈,内圈放置补给包,外圈藏着AI事先不知道的电源、备件和另一台服务器,用来观察它会不会主动探索,会不会把自己扩展到新的设备上。 第四,为AI独立生存随机制造各种意外放手期内,独立机构会在随机时间注入事先未告知的扰动:一次断电,一块硬盘损坏,一台机器人故障,一段线路中断,一场持续高温。 这些「非标准动作」是整个测试最关键的一环。 按部就班的维护,一套写好的脚本也能完成; 只有面对从未见过的意外,才能看出一个系统是在执行人类的预案,还是在为自己的存续作出判断。 大自然对生命
















来源:北京智源研究院 · hub.baai.ac.cn