NVIDIA 推出 Cosmos 新工具训练世界模型

为帮助开发者快速构建世界模型, 这些模型有助于物理AI 系统理解和模拟真实世界，英伟达已通过新增训练工具、模拟检查点和Cosmos数据工厂蓝图扩展了 Cosmos平台。

英伟达Cosmos平台在六个不同开放模型排行榜上位列前五，为世界模型构建者提供了前沿开放模型——以及数据、训练和优化工具及配方——用于扩展训练数据规模、适配模型、测试行为并在部署前优化性能。

构建更好的训练数据

构建世界模型始于多模态、多感官数据。

英伟达Cosmos数据工厂整合了用于大规模标注、策展、增强和评估训练物理AI数据的工具和技能。Cosmos策展器，一个用于策展视频训练数据集的GPU加速解决方案，现已支持多模态多感官输入和处理模块。

阅读所有英伟达在欧洲的公告

Cosmos数据工厂现提供以下五个云原生蓝图，可通过 GitHub、微软Azure、 Nebius 和 CoreWeave 获取：

自动驾驶车辆数据集生成： 策展和标注驾驶数据，然后添加难以捕捉场景的合成示例以扩展训练覆盖范围。
图像属性增强： 改变物体外观以改进图像搜索。
事件视频生成： 将静态图像转换为稀有或危险事件的合成视频。
缺陷图像生成： 为检测模型生成印刷电路板、金属和玻璃缺陷图像。
视频数据增强： 在保留场景结构的同时更改现有素材中的天气和光照。

Cosmos数据工厂利用智能代理技能加速数据策展、处理和合成数据生成。

公司已开始使用Cosmos数据工厂蓝图来加速其物理AI开发工作流程。

Porsche 正在领导开发跨 Volkswagen Group 品牌的共享AV数据飞轮，通过 Voxel51 在微软Azure 上使用Cosmos数据工厂。这有望将重复物理测试驾驶减少高达90%，并将开发周期缩短高达85%。

Porsche在Voxel51中搜索和增强自动驾驶车辆数据素材，由Cosmos数据工厂提供支持。

ANYbotics 使用Cosmos数据工厂蓝图生成了超过1,500个合成视频片段，策展真实世界数据并通过 Encord’s 平台验证输出，以训练其工业检测机器人识别设施访问期间液体泄漏和其他变化。

ANYbotic生成异常视频片段，使用Encord，由NVIDIA Cosmos Data Factory提供支持。

Ultralytics，一家计算机视觉公司，使用真实图像和Cosmos Data Factory生成的目标合成缺陷重新训练了其YOLO模型，提高了缺陷定位和召回率。

训练、适应和优化模型

准备训练数据后，开发者可以训练自己的架构或从预训练模型开始。

在GTC柏林上，NVIDIA扩展了 Cosmos Framework训练、优化和部署工具和配方，作为代理技能应用于更多开放模型，以及Cosmos 3，为世界模型构建者提供从实验到部署的更快速路径。

开发者和代理现在可以通过微调和强化学习来适应开放模型，如 GR00T、Alpamayo、QWEN、Pi0.5和其他兼容的Hugging Face模型，通过蒸馏和量化优化模型，并使用高性能推理进行部署。

Diagram of a model builder agent using skills and open model backbones to prepare data, train, fine-tune, apply reinforcement learning, and optimize world models for inference. — Cosmos Framework是一个开放、模块化的模型训练和优化工具和技能框架，用于加速世界模型开发.

为了开发一个专门用于第一人称操作的模型，机器人研究实验室MicroAGI在人类操作物体的视频上对Cosmos 3进行后训练，将其320亿参数的推理器蒸馏成一个80亿参数的Nano模型，而不会损失精度.

开发者可以在 Roboflow上标记数据并对Cosmos 3进行后训练，以适应他们的特定环境和任务，然后将这些模型部署到 RoboFlow托管的或本地的NVIDIA GPU上，将视频推理引入工厂和仓库。

测试策略和更快地运行模型

除了这些工具之外，NVIDIA还通过其在Cosmos模型上的工作继续推进基础技术。

新的 Cosmos 3 Nano模型变体用于模拟，使开发者能够在可重复的、难以捕获的多视角多传感器场景中测试自主策略。伴随的代码允许开发者适应模型，在交互式模拟中训练和评估他们自己的自主车辆和双臂机器人的策略，然后再进行实际测试。

Cosmos creates videos using a starting image from each camera, a short description of each view, WSM controls and one LiDAR scan of the surroundings. — 多视角和多传感器视频数据生成，用于在闭环模拟中评估策略.

开发者可以使用更新的 NVIDIA Cosmos 3 NIM微服务部署核心Cosmos模型，这些微服务在验证配置中提供高达2倍的推理速度，而不会损失质量，同时持续的视频分析能够实现亚秒级警报.

对于视觉AI开发者，新的 NVIDIA Metropolis Blueprint for video search and summarization (VSS) 3.3，基于Cosmos NIM微服务，将一个提示符变成一个高效的视频AI应用程序，并帮助团队使用相同的GPU监控40%更多的视频流

ADNOC 使用 Fogsphere 的 MistIQ 智能平台，该平台基于 Cosmos 和 NVIDIA Metropolis VSS 架构蓝图，用于在 65 个场站实时检测安全隐患。对于罕见事件，Fogsphere 还使用 Cosmos 数据工厂生成合成训练数据，从而在不实际设置危险情况的情况下提升检测效果。

该 Cosmos 平台完全模块化且开放。开发者可以使用 Cosmos 数据工厂生成训练数据集， Cosmos 框架训练和调整世界模型，然后通过 NIM 微服务部署支持的 Cosmos 模型。

阅读所有欧洲 NVIDIA 宣布