LLMs读取写入神经网络权重
[AINews] LLMs can read & write neural network weights: "Weight Space Programming" cuts Autoresearch out of the RSI loop
在AI技术熊市加剧的背景下,一个重大发现表明,足够智能的LLMs可以通过运行实验在计算集群上自主训练模型,无需人类专业知识或干预,直接读取和编辑较弱的模型的权重,从而实现类似查看源代码的能力

在AI/科技熊市加剧的背景下,我们继续看到社区中非常惊人的能力发现。 最好的方式是将今天的重磅论文置于Karpathy的autoresearch的背景下,该研究预示着夏天的递归自我改进恐惧。 抽象地说,这个演示是,你可以取一个足够智能的模型,通过在计算集群上运行一系列实验,自主地训练模型,而不需要人类专业知识或干预。 然而,这通常是通过一个涉及编写PyTorch/Jax代码、运行计算、观察损失曲线、读取评估结果、优化内核和数据的过程来完成的。
上个月的嘉宾Alex Zhang回来共同作者了一个巨大的发现:你只是要求一个智能模型直接读取和编辑一个较弱的模型的权重吗? 在机器学习中的等效是不看源代码,只是直接看到(非常小的)编译可执行文件的1和0,并且能够1)告诉它们做什么,2)根据失败的轨迹一次性修复错误,或者用50步在一般方向上改进(这里可能有点夸大),3)一次性从头开始编写整个网络权重,击败一些独立训练的模型。
如果你相信LLMs可以真正地拟合和模拟一切,只要参数足够多(事实上,LLMs随着规模的增大,越来越擅长计算),那么理论上这种情况注定会发生,但突然出现这种能力仍然令人惊讶,因为独立再现似乎已经找到。 当然,我们真正建模的东西是某种机制可解释性的变体(这可以通过手工完成),目前不太可能扩展到比简单游戏和RL策略更高级的任务,但世界现在在这一点上从0到1在这个非常新的RSI能力上… … 这由于其显著的效率将立即被利用和探索。 AI News for 10/31/2026-11/02/2026。
我们检查了12个subreddits,544个Twitters,没有进一步的Discords。 AINews的网站允许你搜索所有过去的问题。 作为提醒,AINews现在是Latent Space的一部分。 你可以选择/取消选择电子邮件频率!
AI Twitter Recap DeepSeek Open-Sources a "Super-agent" Harness Prototype Release : DeepSeek Harness发布了一篇长设计文章(文章)和dsh-superagent-prototype仓库(仓库链接)。 官方英文版随后发布(@tianyi)。 架构:一个长期运行的路由会话与人类交谈并分发工作。 隔离的工人并行运行任务,由GitHub事件触发(摘要)。
声称的结果:在DeepSeek自己的测试中,p95完成时间从29.5分钟降至15.7分钟,与使用子代理的单个会话相比(摘要)。 设计理由来自一个审稿人:最终审稿人崔添翼(@tianyi)说“超级”意味着工作代理之上的一层,而不是更高级别的智能。 他将核心权衡框定为跨任务连续性与吞吐量(知乎摘要)。 声明的限制:该 harness 还没有内置跨会话的长期记忆。 分离状态、计算和环境主要未实现。 原型仅在小型、受信任的内部环境中进行了验证,安全和隐私以及代理之间通信仍然是悬而未决的问题。
先例:他承认其他团队在几个月前探索了类似的架构。 从业者反应:@badlogicgames说该设计符合Earendil的走向:一个单一的长期实体,即兴递归委托和跨系统事件触发。 @omarsar0称其为“协调-执行 harness 设计的典范”。 DeepSeek还说它旨在在每个模型生成中支持pi和其他主要 harness(@tianyi)。 评论:@teortaxesTex称该报告为“
来源:Latent Space · latent.space