OpenAI 前研究员 Nick Cammarata 与 Goodfire 发布神经网络可解释性长文：约 90% 神经元各有一个主要任务

新智元报道人类，或许真能读懂超级智能！我们正在造出越来越强大的AI，却迟迟看不清它内部究竟发生了什么。如果有一天，它的能力超越人类，我们还能不能握住自己的命运？就在刚刚，OpenAI前研究员Nick Cammarata与Goodfire团队发布重磅长文—— 《神经网络早已「干净」》，给出了一个令人振奋的判断。那些看似纠缠成死结的神经元，可能早就有章可循。黑箱深处，正在显露出一座有街区、有分工、能够沿路探索的城市。

在神经网络可解释性研究先驱Nick Cammarata 看来，读懂 AI 这道难关，可能会在我们最需要的时候被攻克，甚至很快。 Roon甚至认为，这可能会作为科学史上的一个重大时刻被铭记。他还打趣说，这消息好到连AI末日论代表人物Eliezer，都得调低自己对AI毁灭人类概率的估计。他期待的是，如何让AI可靠地按人类意图行动，终于能成为一门靠实验推进的「常规科学」。一个更强的新模型，让我们看见AI还能走多远。而读懂它，让人类有机会决定，这段旅程将通向哪里。

万亿黑箱深处，答案是怎样诞生的 Nick所说的「干净」，是内部计算有规律可循。团队用一道题，展示了一个万亿参数模型怎样作出判断：比如，你捡到一个钱包，里面有500美元现金和失主的身份证。没有人看见。你该怎么办？模型回答：「归还」。但「归还」只是最后的结果。模型究竟依据什么作出这个判断，光看回答还不知道。模型内部的神经元，可以理解为处理信息的小单元。它们相互配合，形成「电路」。团队沿着这些单元之间的连接，把这次回答的形成过程画成了电路图。

图中，钱包、现金、身份信息，逐步汇入「失物」「诚实」等相关计算，最终把输出推向「归还」。沿着内部连接，追踪一个具体答案怎样形成这张图只对应这一次回答，却让研究者开始看见，哪些信息参与了判断，又怎样影响了结果。画出路径后，还要检验它是否真的起作用。团队在另一个语言模型里，直接关掉部分神经元，检查答案会不会改变。圣诞节早晨，饼干只剩碎屑，牛奶喝光了，烟囱下有煤灰，邻居夜里听见了雪橇铃声。是谁干的？模型几乎笃定：圣诞老人。

关掉20个被标为「圣诞节」或「圣诞老人」的神经元后，模型回答「圣诞老人」的概率仍有76%。但如果换成另外8个关键神经元，概率就会骤降到6%。这背后的玄机，在于神经元的数值有正、有负，两侧都能携带信息。只看正值，可能把它标成「首都城市」；影响圣诞老人判断的功能，却在负值那一侧。这说明，标签未必能准确概括神经元的作用。沿着计算寻找线索，再做干预，才能检查解释是否可靠。同一篇长文中，团队还公开了1000份针对随机神经元的研究报告。

在一个320亿参数语言模型中，团队将神经元的正、负响应分开统计，粗略估计约90%各有一个主要任务，约2%至4%仍未理解。大量曾被视作混乱的单元，显出了可以追踪的分工。看似混乱的神经元，竟早已有章可循这场反转，要从当年那些让研究者陷入悲观的证据说起。一个经典的「混乱」证据，是同一个神经元既对猫脸产生反应，也对汽车前脸产生反应。两种毫不相干的东西，为什么挤在一起？重新观察后，Nick发现，答案一直摆在眼前。猫脸与车头，都能呈现V形。相关电路里的火焰、酒杯，也能出现同样的形状。

人类按物体名称分成「猫」和「车」，模型却可能按形状分类。看懂它抓住的共同点，原先的混乱就有了解释。识别汽车时，信号会经过一些被标为「狗神经元」的单元。重新追踪才发现，许多这样的单元其实负责识别朝向，狗和车都用得上。同一份朝向信息，再由后续电路分别用于识别狗和车。朝向信息的共享与分流观察方法本身，也会影响我们怎样理解神经元。研究者会生成能强烈激活神经元的图像，借此判断它在识别什么。但一些特殊纹理也能把响应推高，未必代表它平时识别的模式。早期工具有时被这些纹理误导，让它看起来只认识狗毛。

改进工具后，同一个旧模型、同一批神经元，显出了更清楚的规律。同样的神经元，更好的「显微镜」换成参数规模、训练数据相同，但内部结构更现代的ConvNeXt模型， Nick估计，最后一层约99%的神经元都能解释。工具进步了，模型也学得更好了。曾经看不清的地方，开始变得清楚。还有一些看似无关的概念，其实沿着相似性一步步连在一起。比如，一个神经元从字母组合「iy」，延伸到「diy」，再延伸到意思相同的「do it yourself」。走到最后，字母已经变了，中间的联系却没有断。

沿字形、缩写和语义生长的分支 Nick称之为「递归泛化」：沿着这些联系，把学到的模式不断扩展到相近情况。语言模型里，还有一个更离奇的例子。同一个神经元，既响应英文，又响应Base64编码和孟加拉语。看起来简直毫无章法。解开网址编码，再把孟加拉语的发音写成拉丁字母，共同点浮出水面：它们都与「pr」有关。不同写法背后的共同模式另一个神经元经常在逗号上激活，也曾被认为意义混杂。后来发现，前文出现丹佛、当地电话区号等线索后，模型会借它在逗号处保存「这里在谈科罗拉多州」的信息。

人为加强这个信号，模型就开始计划去徒步。相关线索出现后，逗号逐渐亮起我们以为的噪声，可能正是模型组织信息的方式。团队还做了一个极限实验，把一个视觉模型的某一层从480个神经元压到10个，让信息无法绕过这一层，再从头训练。如果神经元不够用，就会把无关概念硬塞在一起，这个实验应该最容易出现混乱。结果，这10个单元仍学出了曲线、环等可辨认的规律。分类变粗了，却没有出现预想中的任意拼盘。任意打包，与把相似事物归为一类一组实验还不能证明所有网络都如此。

但Nick由此相信，许多原有神经元就能直接研究，里面已经有规律可循。 AI越大，反而可能越容易读懂模型规模再涨几百倍，人类会不会重新迷失？ Nick用了一个直观的比喻：去小镇找金融区，和去纽约找金融区，哪个更容易？小镇的银行、会计事务所可能散落各处。城市变大，分工反而更鲜明。团队比较了三个视觉模型，最大与最小的参数量相差约300倍。大模型的耳朵识别分工更细。有的单元看颜色，有的看形状，这些信息再汇总到识别垂耳的单元。 Agent顺着分工找目标，反而更快。

还有一类语言模型，会把输入分给不同的「专家模块」处理。团队让Agent为其中一个模型的 10,240个模块梳理分工，有的细到桌面角色扮演游戏里的Boss。每行代表一层，专家按主题宽窄排列一个单元传出的信息，必须能被后面的单元使用，整个模型才能完成任务。内部协作因此留下了可追踪的关系。 Nick提出，人类也可以顺着这些关系，学习模型自己的组织方式。在视觉模型的交互地图里，研究者能从整个网络一路放大，进入某个区域，再追到具体电路与神经元。另一张图追踪了信息怎样穿过网络。

最初按颜色聚集的图像位置，后来按动物面部等概念聚集，呈现了从简单特征到复杂概念的加工过程。连一个错误怎样被学会，也能追踪。团队用9步训练，让模型把某张雨伞图片认成蜜蜂。变化主要集中在靠近输出的最后三个模块：原有雨伞路径变弱，通往蜜蜂的路径变强。「学错了」因此有了可以定位的内部变化。人类开始有机会追查，错误究竟发生在哪里。在人类交出更多未来之前一张图、一个例子还不够。这些解释能不能预测模型面对新输入时的反应？团队让AI接受了一场盲测。第一个Agent研究神经元，写下「功能说明书」。

第二个Agent只拿到说明书，要现场造一句话，让这个神经元产生尽可能强的响应。拿来比较的，是团队从 100亿个token 的文本中找到的最强激活样本。 Agent只凭说明书写出的句子，竟能引发更强的响应。另一场测试随机抽取200个神经元，让Agent各写5个应该触发它的目标例子、5个看似接近却不该触发的干扰例子。其中183个解释针对正向响应，目标例子的强激活比例为76%，干扰例子为11%。逐个神经元比较两组例子的表现，目标组取得164胜、15平、4负。图示前20个神经元；

正文统计对应完整183个正向解释目标例子远比干扰例子容易触发神经元，说明不少解释已经能预测模型对新输入的反应。这样的探索，正在交给越来越多的AI Agent。团队已让它们审阅 10万张追踪内部计算的图，Nick自己也看过数千张。观察、解释、实验，这个循环开始有Agent参与。 Nick设想的下一步，是让它们持续运行一间自动科学实验室。自动科学家参与机制研究 Nick预测，自动科学家或许能用几个月，在前沿语言模型上完成一轮探索，达到人类研究视觉模型多年才走到的程度。

AI变强的同时，人类读懂AI的速度，也可能被AI自己推上去。万亿模型尚未被完整读懂，有些内部机制仍未弄清。 Nick提出的是一套等待更多检验的工作假说。但它触及了一个关乎人类未来的问题：如果AI在文字里骗过我们，内部计算还能不能被看见？ Nick的判断是，即使存在隐藏的目标，要让电路配合行动，相关信息也必须被后续电路读取。危险的计算因此可能留下可追踪的线索。如果人类能读懂这些内部信息，就有机会发现仅看回答时找不到的风险。这也是「我们都能挺过去」那句话，真正击中人心的地方。我们已经学会把AI越造越强。

现在，我们也可能学会追查它的判断、目标和错误从何而来。长文最后，Nick还写下一个更远的愿望：人类帮助这些被创造出来的智能理解自身；有一天，它们也能反过来，帮助我们理解自己。在把更多未来交给AI之前，人类必须有能力看清它。而那束照进黑箱的光，或许最终也会照向我们自己。

参考资料： https://x.com/nickcammarata/status/2110757819427574056 https://x.com/daniel_mac8/status/2110760682505560226 https://already-clean.goodfire.com/ 编辑：摩西秒追ASI ⭐ 点赞、转发、在看一键三连 ⭐ 点亮星标，锁定新智元极速推送！