Astra 通过权重直接重新编程其他 AI 模型

传统的逐步数学优化训练过程不是必需的。 根据实验，Astra 直接与数字列表或使用编程工具和测试运行反馈工作。 研究人员称这种方法为“权重空间编程”：而不是昂贵地重新训练一个 AI 模型，语言模型就像一个机械师转动单个旋钮。 Astra 仅通过查看模型的原始数字就能识别游戏。 在几次实验中，研究人员向 Astra 提供了训练网络的原始权重，并询问这些网络学到了什么。 Astra 正确识别了四个计算机游戏中的哪一个网络应该玩。 它还识别了图像生成器产生的基本形状，尽管它将填充形状与轮廓混淆。

它还正确匹配了小型语言模型的训练语言——没有访问训练数据，也没有运行模型的能力。 在另一项测试中，Astra 必须弄清楚两个微调语言模型中哪一个被训练为始终与用户同意。 从权重本身来看，它一开始无法区分。 只有当 Astra 被允许观察模型在文本处理过程中关注的内容时，它才能在所有三个模型对中正确识别奉承模型。 从头开始编写的模型击败了训练的竞争对手 Astra 甚至更进一步：它根据游戏规则和源代码为三个简单的计算机游戏生成权重，完全无需训练。 据研究人员称，这些模型在超过一亿轮中优于使用标准方法训练的模型。

在 Breakout 中，Astra 的模型平均得分为 517 分，而训练的基线为 25 分。 在另外两个游戏中，Astra 落后于最长训练版本的模型。 对于 9x9 网格的围棋，Astra 编写了具有约 150 万个参数的网络权重。 在 50 次测试迭代中，网络每轮最多玩 128 个练习游戏，然后 Astra 更正其权重，它击败了一个规模相当的、在约 2000 万个游戏中训练的模型。 有针对性的修复而不是完整重新训练最实用的实验涉及语言模型 Qwen3.5-0.8B。

Astra 的任务是提高它的数学技能，使用编码环境和 50 次测试迭代以及练习问题。 评估是在 Astra 从未见过的问题上进行的。 Astra 识别出 Qwen 自己的模型文档已经警告过的问题：思维循环，即模型无限重复相同文本而不是得出答案。 然后它改变了所有权重的 0.016%。 结果：MATH-500 基准测试的准确率从 7.9% 上升到 48.1%。 指令跟随能力从 21% 提高到 62%。 然而，思维循环并没有完全消除，因为三分之一的回答仍然达到了最大文本长度，而之前是 93%。

对于规模较小的模型（Gemma 3 270M），它很少陷入这种循环，Astra 未能产生任何可测量的改进。 研究人员推测 Astra 能够移除 Qwen 模型中抑制现有能力的障碍，但模型从根本上缺乏的技能无法通过仅重写单个权重来添加。 旧新闻还是新范式？ AI 先锋 Jürgen Schmidhuber 在 X 上评论说这种方法是“老生常谈”，指出他自己的 20 世纪 90 年代的工作。 Khattab 回应说他们链接到那些论文，那些论文“远超前于时代。

”他说的新方面是当今语言模型在人类语言和网络数值之间转换得有多好。 研究人员看到他们方法在直接在模型权重上进行安全审计或进行有针对性的行为改变而不需要昂贵的重新训练方面的潜力。 他们也承认能力仍然有限。 他们列出的下一个任务是建立一个用于系统测量的基准。 实验日志在 GitHub 上，以及编辑的 Qwen 模型。