普林斯顿推出Scientist

AI Scientist 已经能够阅读科研文献，但要在已有研究的基础上继续探索，仅仅读懂论文还不够。 人类科学家可以从论文中提炼问题、借鉴方法，再搭建实验检验新的想法， AI Scientist 同样需要能够实际运行实验、验证想法的研究环境。 Scientist World 是普林斯顿大学团队提出的环境，将研究论文转化为可执行的环境，让 AI Scientist 能在其中提出新方法、开展实验，再将实验结果与原论文的复现结果进行比较，衡量自身取得了多少改进。

首批发布包含 1000 个经过独立验证的环境，所有保留尝试累计约 6400 小时的端到端运行时间。 Scientist World 从文献中同时提取两类资源：研究问题提供探索目标，已有方法与实验结果提供出发点。 每篇论文都可以成为一处继续开展研究的场所。 系统首先实现论文中的方法和评估程序，尽量复现论文的核心科学主张，并在允许的小误差范围内达到报告结果。 随后，它将研究问题整理成任务，明确什么样的结果属于科学进步，并排除走捷径或利用评分规则获得高分的方式。

任务设计完成后，系统将环境打包，使其能够在不同机器上运行，最后交由独立 agent 验证。 AI Scientist 由此获得一项开放的研究任务，以及一套可以实际执行的评估方式。 衡量改进程度的指标为“前沿归一化改进量”（Frontier-Normalized Improvement，FNI）。 FNI 大于 0 表示超过复现后的源方法。 这套自动转换流程也承担着扩展研究环境的任务。 人工逐项构建任务的方式难以快速覆盖大量主题，而 Scientist World 可以从文献中持续生成环境。

其目标是评估模型能否开展研究，而不只是回忆已经见过的内容。 AI Scientist 的使用主要分成两种模式：改进模式和创新模式。 在改进模式下，模型获得论文的研究思想和已经复现的方法，在此基础上寻找更好的方案。 在创新模式下，模型不获得论文的源代码或复现方法，而是从空白的方法目录开始。 两种模式呈现出不同的能力分布。 Scientist World 保存每次研究的完整轨迹，将决策与真实实验测得的结果对应起来。 约 6400 小时的记录包含成功，也包含没奏效的尝试。 这些记录随环境一同发布，并进一步用于训练。

他们进一步用这些研究轨迹训练 Qwen3-8B。 训练奖励由实际执行实验得到的分数构造，而不是由语言模型评委主观打分。 在 10 个留出论文环境中，他们让固定的 GPT-5.6-Sol xhigh 执行不同版本模型提出的 ideas，并比较最终实验结果。 经过训练后的 ideas，其 FNI 中位数提升到约 106.3，达到论文设定的前沿参照锚点附近。 这个实验控制了执行模型和执行条件，因此观察到的差异主要反映 idea 来源或研究质量的变化，而不是 Qwen3-8B 自己完成了全部实验流程。

在固定执行器、提示词、采样参数和实验预算的控制条件下，他们将性能差异解释为不同 idea 来源及其研究质量带来的差异。 这个结果可以作为科研构思质量的一个操作性指标，但不能直接证明模型具备一种独立、普适且唯一由构思能力决定的科研能力。 至此，同一套环境承担了三项用途：可以评估 AI Scientist 能否推进真实研究，保存科研过程形成数据集，也可以提供以实验结果为奖励的训练场。 Scientist World 将已发表论文中的研究记录转化为可运行、可评分的环境。

同一套环境既能用于评估当下的 AI Scientist ，也能用于训练下一代 AI Scientist 。