跳到正文
原文
Hugging Face Blog·· 17 天前精选AI 评分61

OlmoEarth v1.3发布

OlmoEarth v1.3: State-of-the-art embeddings for the whole planet

AI 摘要

OlmoEarth v1.3是一个最先进的卫星嵌入模型,它读取一年的雷达和多光谱卫星时间序列,为地球上的每个10米像素生成128维的向量,并提供了预计算年度嵌入和浏览器工具,使任何人无需登录或先进技术知识即可使用

正文 · AI 翻译

🤗 模型 | 📄 技术报告 | 📊 数据 | 💻 代码 | 🌎 嵌入探索器 | 🗺️ 交互式故事

Pixelated globe in teal and magenta above the OlmoEarth 1.3 wordmark on a dark green background.

今天,我们发布了 OlmoEarth v1.3,一个最先进的卫星嵌入模型。除了 OlmoEarth v1.3,我们还分享了针对整个地球的预计算年度嵌入(10m、64-和128维),以及一个基于浏览器的工具,用于基于这些嵌入探索和定制地图——即 OlmoEarth 嵌入探索器。这意味着任何人都可以立即开始使用 OlmoEarth v1.3,从跟踪时间变化到寻找相似地点——无需登录,也无需高级技术知识。

到目前为止,使用 OlmoEarth 的主要方式是在 OlmoEarth Studio 中进行微调:为每个任务训练一个模型,并在卫星图像上运行它以制作地图。这需要 GPU 访问权限以及下载和存储 图像 的能力。嵌入模型将卫星数据压缩成可重复使用的特征,这些特征可以以低成本用于许多任务。

有了 OlmoEarth v1.3,我们很高兴地为用户提供更多探索和与地球级文物互动的方式,以最适合他们的方式。

一次计算,处处复用

嵌入代表了模型从数百万张图像中学到的内容。OlmoEarth v1.3 读取一年的雷达(Sentinel-1)和多光谱(Sentinel-2 和 Landsat)卫星时间序列,并为地球上的每个 10 米像素生成一个 128 维的向量;前 64 维也可以单独作为一个较小的嵌入使用.

基础模型和全球嵌入的生产成本很高,为了确保每个人都能享受到这些好处,我们已经为整个地球计算了这些嵌入,并与社区在 源合作 上分享了它们。从那里开始,一个作物地图、一个土地覆盖地图或一个变化分析就变成了一个轻量级的建模问题:在顶部训练一个小型分类器,并在本地运行它.

Diagram showing satellite time series passing through a vision transformer, attention pooler, and linear projection to produce 128-dimensional embeddings.

OlmoEarth v1.3 如何生成嵌入:一个视觉转换器读取卫星数据,一个注意力池器将其聚合成每个土地块的一个向量,然后一个线性层将其减少到 128 个数字。

最先进的嵌入

我们在 27 项评估中,涵盖了六个大陆和许多不同的任务,对 OlmoEarth v1.3 的嵌入与 AlphaEarth 基础(AEF)和 Tessera v2 进行了评估。OlmoEarth 的 128 维嵌入在 27 项评估中的 20 项中得分最高,总体排名最高。64 维版本,大小减半,仍在 27 项评估中的 18 项中领先。作为本次评估的一部分,我们引入了 PLANTEUR,一个新的热带农业作物类型基准,嵌入在分类器从未见过的地方表现最好(PLANTEUR 技术报告可在 此处获得)。它们背后的一切都是完全开放的:模型权重、预训练数据和预训练代码.

在实践中,这意味着在 OlmoEarth 嵌入上训练的小型分类器足以绘制地面上的内容:想想在肯尼亚分类小农户作物,检测达卡西部的砖窑,评估印度尼西亚的火灾损害,以及追踪秘鲁亚马逊地区的黄金开采。

与之前的 OlmoEarth 模型相比,OlmoEarth v1.3 也是我们训练成本最低的模型。它只用了我们上一版本(v1.2)53% 的计算时间,18% 的第一版本(v1)的计算时间,以及 50% 和 22% 的碳排放。它仍然是一个强大的微调模型,在研究和合作伙伴标签上与 v1.2 的性能相匹配。我们最新的模型基于早期 OlmoEarth 版本的相同基础,经过调整,使得嵌入保持轻量级,同时不会在任务中牺牲准确性,并且这种效率工作将延续到未来的版本中。

完整结果和方法论在我们的 技术报告 中。

Bar chart comparing rented H100 pretraining costs: $15,060 for OlmoEarth v1 Base, $5,100 for v1.2 Base, and $2,720 for v1.3 Base.

如果您想重现它,预训练 OlmoEarth v1.3 Base 的最终运行大约需要 2,720 美元的租用 H100 时间。权重、数据和代码都是开放的。

一个地方,九年

Maps of embedding change in La Pampa, Peru, comparing 2017–2020 and 2020–2025, with magenta indicating the largest changes.

2017 年至 2020 年(左)和 2020 年至 2025 年(右)每个像素的嵌入变化量。品红色表示变化最大。左:采矿向东南扩散,右下角的大片区域。右:那个角落已经安静下来;现在变化位于较旧的采矿区以西,部分是再生,部分是重新挖掘。自己在 OlmoEarth 嵌入探索器 中探索它。

在秘鲁的马德雷迪奥斯地区,La Pampa 周边的非法金矿在 2017 年和 2018 年达到顶峰,清除了坦博帕塔国家公园缓冲区超过 1,200 公顷的森林,根据亚马逊保护组织的 MAAP 监测计划。2019 年 2 月,秘鲁的“墨丘利行动”关闭了其中大部分。自那以后,人们一直在问,这种情况是否持续下去?

嵌入有助于回答这个问题。比较每年每个像素的向量,无需模型训练,2017 年至 2020 年的对子就会照亮采矿向东南扩散的地方。从 2020 年运行相同的比较到 2025 年,信号发生了变化。镇压在嵌入中可见。

更有趣的是第二张地图仍然显示的内容。它不是黑暗的。根据 MAAP,西北部的口袋仍在运营,旧的采矿区随着土地的恢复也在不断变化。嵌入也记录了这一点。宽限期很短暂,压力正在再次累积。2026 年 8 月,《美联社》报道,秘鲁在检察官发现采矿已进入坦博帕塔本身后,将海军巡逻队派回了保护区。

我们的 互动故事 从这一段马德雷迪奥斯开始,并展示了该地区和其他几个例子。

Another way to view our planet. Explore the OlmoEarth interactive story.

OlmoEarth 嵌入探索器

OlmoEarth Embeddings Explorer 是一个交互式分析工具,它由嵌入本身构建而成,并以假彩色地图的形式呈现地球。可以随意平移,在不同的年份之间切换以查看景观的变化,并调出底层 Sentinel-2 影像来对照真实情况。然后开始提问:点击一个地方找到看起来相似的其他地方,或者放置几个标记点并在现场训练一个小型分类器,然后将结果导出为 GeoTIFF。无需账户,无需设置。

对于许多团队来说,在OlmoEarth上测试想法意味着进行精细调整的运行,大约需要数小时。在探索器中,第一次运行只需几秒钟。您可以使用少量标签分析整个区域,无需GPU。当任务需要精细调整时,嵌入可以帮助您决定它是否值得计算资源,以及模型在哪些方面存在不足。

Explorer背后的档案包含10米分辨率的嵌入,每年大约150 TB,覆盖陆地和相邻的沿海水域。在2025年发布时,2024年和2023年是全球范围的,2017年至2022年覆盖选定国家,未来将提供更多覆盖范围。

您可以检索完整128维的嵌入版本或更轻量级的64维版本。每个嵌入还附带一个记录其来源的记录。

对于每个20公里瓦片和年份,公开的来源表列出了模型读取的Sentinel-1、Sentinel-2和Landsat场景,并提供了托管它们的公共目录的链接,以便您可以追溯到任何像素背后的图像。

开始使用

本次发布包括OlmoEarth v1.3基础模型、预计算的全球嵌入、OlmoEarth嵌入探索器和技术报告。如果您的作品需要特定的时间窗口,OlmoEarth Studio将在您选择的日期、模态和分辨率上运行相同的模型,并且一个教程展示了如何在您的计算资源上生成嵌入。这些工具协同工作:在嵌入探索器中探索,当任务需要时在Studio中进行精细调整,然后从那里开始您的地图。所有内容均在OlmoEarth Artifact License下发布,与v1和v1.2相同的开源许可证。

提取您关心的地方的嵌入,向它们提出您的问题,并展示您发现的内容。

来源:Hugging Face Blog · huggingface.co

00