GPT-6修好阿里小模型

MIT CSAIL团队让OpenAI的GPT-6 Astra直接读取并修改阿里巴巴Qwen3.5-0.8B模型的权重，只改动了131072个参数，约占该模型8亿参数的0.016%，就将其在MATH-500数学基准上的成绩从7.9%拉升至48.1%，指令遵循能力提升约3倍。 全程没有梯度下降，没有反向传播，没有传统意义上的“训练”。 团队给这套方法起了个新名字：权重空间编程（WSP）。 研究发现，前沿大型语言模型在原生地阅读、编写和推理神经网络权重方面出人意料地出色。

实验中，Astra首先诊断Qwen3.5-0.8B在数学任务上反复生成相同内容的问题，定位到第15层和第19层的多层感知机（MLP），削弱其中的重复信号，最终修改的权重只占模型总量的0.016%。 研究者做了对照实验，在允许50轮前向推理的设定下，MATH-500得分从7.9%升至48.1%，GSM8K从13.8%升至67.1%； 但当把目标换成原本很少陷入推理循环的Gemma 3 270M时，同样的方法最多只能把MATH-500从6.8%推到7.7%。

该团队还逐一向Astra提供来自4个游戏策略的原始权重，它正确地命名了所有四个：Breakout、Pong、Pac-Man、Freeway，并修复了PPO汽车策略在坡道上反复卡住的问题，通过仅编辑3.5%的权重，它实现了100%的成功率。 这表明，Astra将“模型优化”和“神经网络权重的更改”从一门依赖算力、数据和梯度的工程学，部分转化为了可以用自然语言描述目标、由模型自主完成的诊断任务。 从产业视角看，这件事的影响力要分三层看。 第一层：模型后市场的降本叙事。

如果“前沿大模型直接读写小模型权重”被验证为可复制的通用方法，开源生态里大量“够用但不完美”的小模型，将第一次拥有一种绕过训练基础设施的修复通道。 第二层：模型资产的“可诊断化”。 这个实验本质上证明了前沿模型具备一种此前只在理论上讨论的能力：把另一个模型的权重当作可以阅读、理解的“文本”。 当模型行为可以被定位到“第15层和第19层的某个重复方向”，机制可解释性就从论文走进了工程现场。 第三层：递归自我改进（RSI）的实证信号。

博客作者明确将这项工作指向RSI：模型开始理解并修改神经网络本身，这是“AI帮助人类训练模型”到“AI参与优化模型”的一步跨越。 当别人的模型成了被修改的对象，最强的闭源模型，正在成为审视和改写开源模型的“标准答案”。 这种不对等是赤裸的：OpenAI的旗舰模型可以随意读取、分析、修改竞争对手（哪怕是开源领域的标杆产品）的内部结构，而反向操作目前不存在，一种事实上的“智能霸权”可能会形成。 但也要把话说全。 在现阶段，把WSP直接定性为霸权还太早。

三点理由：其一，实验的对照结论已经表明，这套方法目前只能“除障”不能“造能”，它修得好推理循环，却给Gemma 3 270M变不出数学能力，距离通用的“模型改造武器”还很远； 其二，被修改的是开源权重，开源本身就是以让渡部分控制权换取生态扩散的商业模式，“能被修复”也是开源模型的价值之一； 其三，这项技术如果成立，其最大的受益者可能恰恰是开源生态——大量无法负担训练算力的小团队，第一次可以借助别人的前沿模型修复自己的模型。 真正需要警惕的是趋势而非现状。

如果“读模型、修模型”的能力沿着当前轨迹持续扩大，全球AI能力图谱将分化出清晰的两个层级：掌握顶级闭源模型的少数公司位于上游，拥有“读改写”一切模型的特权； 届时，竞争的胜负手将不再是模型本身，而是“谁有资格修改谁的模型”。 对监管者和产业界而言，这个实验留下的命题比它的成绩更有价值：当模型开始修改模型，模型安全的审查对象要从单个模型，扩展到“模型之间的关系”。