GPT-6爆改模型权重

新智元报道这一天还是来了！不用训练、不算梯度，只让GPT-6 Astra改写另一款小模型0.016%权重，数学成绩就能原地暴涨6倍！今天， MIT计算机科学与人工智能实验室（CSAIL）带来的这项新研究，在全网彻底火了。他们首次提出了一个颠覆传统深度学习的新范式，「权重空间编程」。要知道，神经网络的权重文件里全是一眼望不到头的数字。过去四十年里，没有任何人类能肉眼看懂这堆数字在算什么，想改模型行为只能喂数据、算梯度，靠训练一步步微调。

但这一次，GPT-6 Astra直接跳过了训练，光靠推理就能看懂并亲手改写底层权重。靠着这手绝活，它不仅徒手治好了开源小模型Qwen3.5-0.8B的死循环毛病，甚至还能从零手搓出一个百万参数的围棋AI！论文一经发布，全网破200万人围观，转发、讨论直接破圈，许多人在评论区直呼「见证历史」。爆改权重：只改 0.016% 的权重，Qwen3.5-0.8B的MATH-500 从7.9%飙到48.1%，暴涨6倍，指令遵循翻3倍。

读懂神经网络：只看17253个数字，Astra便以 99%的置信度一眼认出，四个游戏策略网络各自在玩哪款游戏 ——打砖块、乒乓球、吃豆人和过马路。徒手敲出权重：从全零开始，一次回复手写出打砖块网络，得分517.4，是PPO苦练5亿步的20倍！这篇由 MIT博一Rikiya Takehi和团队交出的论文，彻底改变了所有人的世界观。一夜之间，LLMs能够原生读写神经网络权重了。

只改0.016%参数像脑外科医生一样切掉「死循环」最让人头皮发麻的，就是GPT-6 Astra给8亿参数的Qwen3.5-0.8B做的那场「微创脑手术」。研究人员把共24层的Qwen3.5-0.8B放进一个只有CPU的沙盒里，让Astra在不跑训练的前提下提升它的数学成绩。整个过程中，Astra 最多只能在练习题上试跑50次，用来观察小模型做题时的内部状态。接手任务后，Astra没有急着乱改数字，而是先拿96道数学题给小模型做了一次全面体检。体检结果一下子暴露了病根。

原版模型有85道题一头扎进了死循环，同一句车轱辘话来回念叨，直到把3.2万词元的长度上限耗光也没算出答案。也就是说，这款小模型之所以在MATH-500上只考出7.9%的惨淡分数，是因为93%的题目都被「复读机死循环」硬生生拖死了。既然找到了病症，下一步就是顺藤摸瓜，看看这个让人复读的开关到底藏在24层网络的哪个角落。 Astra对比了正常做题和陷入死循环时的内部信号，很快抓到了异常，只要模型开始车轱辘话复读，第15层和第19层就会顺着一个固定的方向猛发信号。

为了验证这个猜想，Astra先关掉了第19层里信号最强的第11号神经元试水，结果数学准确率立马来了一波6个百分点的上涨。不仅如此，为了确认不是碰巧蒙对，Astra还主动给自己加了一组对照实验，在权重里减去一个同样大小的随机方向。看到随机对照组只带来1.6个百分点的微弱波动后，Astra这才完全笃定，自己抓到的那个信号方向就是引发死循环的真凶！锁定靶心后，它下刀稳准狠，只挑出第15层和第19层里写死循环最猛的各64列权重，精准抹掉这个复读信号。

算下来，全模型8亿参数里只改了131,072个数字（占0.016%），其余99.984%的权重分毫未动！这记微创手术立竿见影，小模型做题卡进死循环的比例从93.0%暴跌到33.1% ，原本卡死的696道题全部顺利算出了最终答案。当研究人员把改完权重的模型拉到8个Astra从未见过的权威测试集上检验时，被死循环封印的实力彻底爆发了！ MATH-500准确率从7.9%飙到48.1%，GSM8K从13.8%冲上67.1%，高难度的美国数学竞赛AMC23更是从0.5%暴涨到23.4%，足足翻了46.8倍！

而且因为死循环原本也拖累着其他任务，切掉病灶后，模型在跨领域的IFEval 指令遵循测试中也从21.0%跃升至62.3%，连涨3倍。看到这里可能有人会好奇，只改万分之一点六的权重就能暴涨6倍，难道大模型能凭空给小模型灌输数学知识。 MIT团队紧接着用2.7亿参数的Gemma 3 270M做了一组反面实验，刚好回答了这个问题。当Astra对Gemma 3 270M照方抓药后，它的MATH-500得分只从6.8%微动到7.0% ，连Astra自己都在报告里坦白没能改出效果。

原因很简单，Gemma 3 270M平时很少卡进死循环（仅8.5%超时），它做不出题纯粹是因为公式没学会、算术算不对。把这两个实验放在一起对比就能明白，现阶段的微创权重手术，本质上是帮模型「切掉阻碍实力发挥的脑血栓」，还不能在不训练的情况下凭空往它脑子里塞新知识。即便如此，这种精准定位并切除病灶的操作依然让硅谷沸腾。 Hyperbolic联合创始人兼CTO金雨晨直呼，用大模型改小模型权重就能让能力暴涨，简直就像给神经网络做基因编辑，比模型蒸馏还要酷！

把浮点数当源码读看穿黑盒里的暗门外科医生敢下刀的前提是看得懂X光片。 Astra之所以能精准切掉那64列权重，底气在于它已经能把密密麻麻的权重数字当代码读了。为了测试这种「盲读权重」的功力到底有多深，MIT团队撤掉了所有运行工具，逼着Astra光靠肉眼看数字，去猜一个黑盒网络在玩什么游戏。在第一关里，研究人员训练了4个结构一模一样（都是1.7万个权重）的小网络，分别去玩打砖块、乒乓球、吃豆人和过马路。

随后他们把这1.7万个数字转成纯文本塞进提示词，既不让跑代码，也不告诉它有哪些备选游戏，结果Astra居然4猜4中！就拿打砖块来说，Astra只看一眼数字分布，脑子里就还原出了游戏画面。它先发现玩家通道的大数字全挤在最底下的第8行，而且输出层唯独对「左移」和「右移」反应强烈，说明玩家控制的是一个在底部左右移动的挡板。紧接着它看到得分通道的权重整整齐齐排在最顶上的三行。底部挡板加上头顶三排砖块，Astra当场以99%的把握拍板，这就是打砖块！

当然，只看第一层输入和最后一层输出还不够硬核，因为大模型真正的思考都藏在中间层里。于是研究人员在第二关使出了釜底抽薪的一招，先分别用Python代码、日语罗马音和英文维基百科训练了3个Transformer模型。随后，他们把模型最前面的词表输入层和最后面的输出层全部砍掉，只把中间4层权重扔给Astra 。没了头尾两层，模型连哪个数字代表哪个字母都成了秘密，更没法输入文字去测试。面对这团无头无尾的数字，Astra自己想出了一个绝招，把前后两层注意力头的权重矩阵乘在一起，看哪些注意力头在联手干活。

最让人震惊的是，提示词里明明什么都没教，Astra自己琢磨出来的这套算法，竟然和Anthropic创始人Chris Olah团队早年提出的经典电路分析法一模一样！顺着矩阵乘积查下去，Astra 精准揪出了专门负责把前文单词抄到后文的「复制头」。紧接着它推理出，写代码时变量名需要反复抄写，频率远高于普通英文文章，所以复制头最多的那个模型肯定是在Python代码上训练出来的！靠着这套神探逻辑， Astra在两次盲测里把三个无头无尾的模型语种全部猜中。

看懂了中间层注意力头的分工，Astra还能顺手抓出大模型的「作风问题」。研究人员拿出3对Gemma 3 270M模型，每对里都有一个说真话的诚实模型和一个顺着用户胡说的「马屁精」模型。在不准看模型回答的限制下，Astra只检查了第10层2号注意力头的落点，就发现诚实模型94.3%的注意力都在看题干数字，而马屁精模型85.7%的注意力全在偷瞄用户的错误暗示，一抓一个准！

把神经网络当空白芯片零训练手搓148万参数围棋AI 既然能看懂每一层权重是怎么搭成电路的，一个更疯狂的念头自然冒了出来，能不能干脆连预训练模型都不要了，让大模型从全零权重开始，凭空手搓一个神经网络出来。很多人第一反应觉得这根本不可能，几万甚至上百万个数字，大模型怎么可能一个个填对。但翻开Astra的操作记录就会恍然大悟，它压根没去瞎猜数字，而是把空白的神经网络当成了一块空白芯片。它用Python代码当「编译器」，把自己懂的算法规则一层层写进权重矩阵里！

比如在「小车冲斜坡」游戏里，强化学习PPO训练了10亿步都卡死在半坡（通关率0%），因为小车不懂得先倒车攒助跑距离。 Astra看穿症结后，借用每层6个闲置神经元，手写57行权重指令搭了一条「先倒车助跑、过红线再往前冲」的旁路电路。这处改动只动了3.5%的权重，就让小车在1,024局测试里拿下100%通关率！到了从零手写打砖块网络时，Astra在 0数据、0梯度、连一帧画面都不准试玩的极限条件下，把第一层神经元写成计算「球与挡板距离差」的减法器，再把第二层写成控制左右移动的开关。

靠着这套纯手工编译的权重，它在1,000局实测中轰出517.4分，把训练了5亿步的PPO算法（25.3分）甩开了20.5倍！当挑战升级到148万个权重的9×9围棋时，这套「权重编译术」更是秀翻全场。在严禁数据训练、严禁蒙特卡洛树搜索（MCTS）的条件下，Astra写了336行Python脚本，把围棋棋理一层层写进了6层神经网络的14张权重表里。它让前两层负责认出黑白棋子并数出旁边的「气」，让中间层顺着相连的棋链传递气的信息、找出快被吃掉的棋块，最