OlmoEarth v1.3发布

今天，我们发布了OlmoEarth v1.3，一个最先进的卫星嵌入模型。除了OlmoEarth v1.3，我们还分享了覆盖整个地球的预计算年度嵌入（10米、64位和128位），以及一个基于浏览器的工具，用于基于这些嵌入探索和自定义地图——OlmoEarth嵌入探索器。这意味着任何人都可以立即开始使用OlmoEarth v1.3，从跟踪时间变化到找到相似的地方——无需登录，也无需先进的技术知识。到目前为止，使用OlmoEarth的主要方式是在OlmoEarth工作室中进行微调：为每个任务训练一个模型，并在卫星图像上运行它以制作地图。这需要GPU访问权限以及下载和存储图像的能力。嵌入模型将卫星数据压缩成可以廉价地用于许多任务的现成功能。使用OlmoEarth v1.3，我们很高兴为用户提供更多探索和参与地球艺术品的方式。计算一次，到处重用嵌入代表模型从数百万张图像中学习到的东西。OlmoEarth v1.3读取一年的雷达（Sentinel-1）和多光谱（Sentinel-2和Landsat）卫星时间序列，并为地球上的每个10米像素生成一个128维的向量；前64维也可以单独作为一个较小的嵌入工作。基础模型和全球嵌入的生产成本很高，为了确保每个人都能获得这些好处，我们已经为整个地球计算了这些嵌入，并与社区在Source Cooperative上分享了它们。从那里开始，作物图、土地覆盖图或变化分析成为一个轻量级的建模问题：在顶部训练一个小型分类器，并在本地运行。OlmoEarth v1.3制作嵌入的方式：一个视觉转换器读取卫星数据，一个注意力池器将其池化成一个每个土地块的向量，然后一个线性层将其减少到128个数字。最先进的嵌入我们评估了OlmoEarth v1.3的嵌入与AlphaEarth Foundations (AEF)和Tessera v2，跨越27项评估，覆盖了六个大陆和许多不同的任务。OlmoEarth的128维嵌入在27项评估中的20项得分最高，总体排名第一。64维版本，大小减半，仍在27项评估中的18项中领先。作为这项评估的一部分，我们介绍了PLANTEUR，一个新的热带农业作物类型基准，嵌入在分类器从未见过的地方表现最好（PLANTEUR技术报告在这里可以找到）。它们背后的一切都是完全开放的：模型权重、预训练数据和预训练代码。在实践中，这意味着在OlmoEarth嵌入上训练的小型分类器足以绘制地面上的内容：想想在肯尼亚分类小农作物，在达卡以西检测砖窑，在印度尼西亚评估火灾损害，以及在秘鲁亚马逊追踪黄金采矿。与之前的OlmoEarth模型相比，OlmoEarth v1.3也是我们训练成本最低的模型。它只用了我们上一个版本（v1.2）53%的计算时间，和第一个版本（v1）18%的计算时间，以及50%和22%的碳排放。它仍然是一个强大的微调模型，在研究和合作伙伴标签上的性能与v1.2相当。我们的最新模型建立在早期OlmoEarth版本相同的基础之上，经过调整，使嵌入保持轻量级，同时不会在任务中牺牲准确性，并且这种效率工作将延续到未来的版本中。完整的结果和方法都在我们的技术报告中。如果你想要复制它，预训练OlmoEarth v1.3 Base大约需要$2,720的租用H100时间来完成最终运行。权重、数据和代码都是开放的。一个地方，九年多少每个像素的嵌入在2017年和2020年（左侧）以及2020年和2025年（右侧）之间发生了变化。品红色是最大的变化。左侧：采矿扩散。