AI强易致认知投降
Anthropic工程师警告:AI越强,人类越容易陷入“认知投降”
Anthropic工程师Osmani指出,AI模型进步使输出错误减少,人类更易跳过独立思考,渐入“认知卸载”、“推迟判断”至“认知投降”三个阶段,最终用户可能无法解释AI结论逻辑,需警惕“认知债务”风险。他建议使用AI前先形成初步假设


Osmani表示,随着AI模型不断进步,输出结果中的明显错误越来越少,人类反而更难保持警惕。 AI生成的内容往往结构完整、表达流畅,而且大部分情况下是正确的,这使得用户越来越容易跳过独立思考和验证环节。 他将人类使用AI的状态划分为三个层次:认知卸载、推迟判断、认知投降。 其中,“认知投降”这一概念最早由沃顿商学院研究人员Steven Shaw和Gideon Nave提出。 Osmani认为,这种转变往往不是突然发生的,而是在不断使用AI的过程中逐渐形成。 他将这一现象与“认知债务”联系起来。
在软件开发领域,AI可以生成大量代码,测试也可能全部通过,但团队成员对系统架构和实现逻辑的理解却在不断减少。 对于如何避免“认知投降”,Osmani建议,在向AI提出复杂问题前,人类应该先形成自己的初步假设,而不是完全依赖AI提供答案。 他还建议,用户应当主动寻找能够推翻AI结论的证据,而不是只询问模型对自己答案有多大信心。 对于存在争议的问题,可以让不同模型从相反立场提出论证,再由人类综合判断。 在软件开发领域,Osmani认为,AI时代的瓶颈正在从编写代码转向验证代码是否正确。
目前,AI智能体已经可以自主编写代码、运行测试、读取错误信息并反复修改,直到测试通过。 但问题在于,测试本身也可能由AI编写。 如果测试逻辑与代码存在相同错误,即使所有测试显示通过,也无法证明软件不存在问题。 因此,他强调,开发者不仅应该关注测试是否通过,还需要明确测试究竟证明了什么、没有覆盖哪些风险。 对于AI交付的成果,验收标准应该是实际测试结果、运行日志、截图等可以验证的证据,而不是AI生成的一段看起来合理的总结。
Osmani还提出,开发者应该要求Agent明确列出它在执行任务过程中自主作出的决定、采用的假设以及忽略的条件。 随着AI能够同时执行越来越多任务,另一个问题也开始出现。 Osmani将其称为“编排税”,即AI生成成果的速度与人类能够认真审核、并愿意为其负责的速度之间的差距。 当AI生成的工作成果不断堆积,而人类已经没有足够时间审核时,继续增加Agent数量并不能解决问题。 他认为,这种情况下,团队应该改进自动验证机制,或者适当降低任务生成速度。
Osmani同时警告,AI的高度自动化可能使人类逐渐放弃练习原有技能。 他建议开发者每周尝试在不使用AI的情况下编写一些代码,每个月重新审视自己已经停止练习的技能,并判断哪些能力仍然值得保留。 他还引用Anthropic关于内部工程师和研究人员使用AI的研究,指出其中存在一种“监督悖论”:监督Claude需要具备编程能力,但过度使用AI又可能使这些能力退化。 Osmani强调,这些观点并不意味着应该减少AI的使用。
在错误成本较低的任务中,完全交由AI完成没有问题,但涉及投资、职业选择、产品安全或影响其他人的重大决定时,人类仍应保留关键判断权。 在他看来,未来的AI模型可能比人类更擅长发现错误,但这并不能消除人类的责任。 决定开发什么产品、为什么值得开发、会影响哪些人,以及愿意为此承担何种代价,仍然需要人类作出选择。 他在文章结尾总结道:“你可以将工作和大部分审核任务交给AI,但不能将责任也一并交出去。 ”
来源:cnBeta · cnbeta.com.tw