NVIDIA 推出 Cosmos 新工具训练世界模型

为了帮助开发者快速构建世界模型，NVIDIA 扩展了 Cosmos 平台，增加了新的训练工具、模拟检查点和 Cosmos Data Factory 蓝图。 NVIDIA Cosmos 平台在六个不同的开放模型排行榜上排名前五，为世界模型构建者提供了前沿的开放模型，以及数据、训练和优化工具和配方，以便在部署前扩展训练数据、适应模型、测试行为和优化性能。 构建更好的训练数据世界模型的构建始于多模态、多感官数据。

NVIDIA Cosmos Data Factory 带来了用于大规模标记、策展、增强和评估训练物理 AI 数据的工具和技能。 Cosmos Curator 是一个用于策展视频训练数据集的 GPU 加速解决方案，现在增加了对多模态多感官输入和处理块的支持。 Cosmos Data Factory 现在提供以下五个云原生蓝图，并通过 GitHub、Microsoft Azure、Nebius 和 CoreWeave 提供：自动驾驶汽车数据集生成：策展和标记驾驶数据，然后添加难以捕获场景的合成示例以扩展训练范围。

图像属性增强：改变物体外观以改进图像搜索。 事件视频生成：将静态图像转换为稀有或危险事件的合成视频。 缺陷图像生成：为检查模型生成印刷电路板、金属和玻璃缺陷图像。 视频数据增强：在保留场景结构的同时改变现有素材的天气和光照。 Cosmos Data Factory 通过代理技能加速数据策展、处理和合成数据生成。 公司已经开始使用 Cosmos Data Factory 蓝图来加速他们的物理 AI 开发工作流程。

保时捷正在领导开发跨大众汽车集团品牌的共享 AV 数据飞轮，通过 Voxel51 在 Microsoft Azure 上使用 Cosmos Data Factory。 这有望将重复的物理试驾减少高达 90%，并将开发周期缩短高达 85%。 ANYbotics 使用 Cosmos Data Factory 蓝图生成了超过 1,500 个合成视频片段，策展真实世界数据并使用 Encord 的平台验证输出，以训练其工业检查机器人识别设施访问之间的液体泄漏和其他变化。

Ultralytics 使用 Cosmos Data Factory 生成的真实图像和有针对性的合成缺陷重新训练了其 YOLO 模型，提高了缺陷定位和召回率。 准备训练数据后，开发者可以训练自己的架构或从预训练模型开始。 在柏林 GTC 上，NVIDIA 将 Cosmos Framework 训练、优化和部署工具和配方作为代理技能扩展到更多开放模型，以及 Cosmos 3，为世界模型构建者提供了一条从实验到部署的更快路径。

开发者和代理现在可以通过微调和强化学习适应 GR00T、Alpamayo、QWEN、Pi0.5 和其他兼容的 Hugging Face 模型，通过蒸馏和量化优化模型，并使用高性能推理进行部署。 Cosmos Framework 是一个开放、模块化的模型训练和优化工具和技能框架，用于加速世界模型开发。 为了开发一个专门用于自中心操作的模型，机器人研究实验室 MicroAGI 进行了后训练...