跳到正文
原文
NVIDIA Blog· Katie Washabaugh·· 2026-09-22精选AI 评分62

NVIDIA 发布 Isaac ROS 5.0,推进智能体化开源机器人开发

NVIDIA Isaac ROS 5.0 Advances Agentic, Open Source Robotics Development

AI 摘要

NVIDIA 在加拿大多伦多 ROSCon 大会上发布 Isaac ROS 5.0,这是一套基于 ROS 的 GPU 加速软件包集合,新增智能体工作流与平台支持,现已免费开源。

正文 · AI 翻译

要构建和部署能够在动态环境中感知、推理和行动的复杂机器人应用,开发者需要新的物理 AI模型和工具。

ROS 开放框架是 Open Robotics 的一个项目,旨在帮助人类构建机器人。NVIDIA Isaac ROS 5.0——一套基于 ROS 构建的 GPU 加速软件包集合,今日在加拿大 多伦多举行的 ROSCon 大会 上发布——帮助人类和 AI 智能体共同构建机器人。

此次发布引入了新的智能体工作流和平台支持,帮助开发者更快地构建、定制和部署机器人应用。

ROS 为大部分现代机器人开发提供了开源基础,为开发者提供构建和连接机器人应用的通用工具、库和标准。 

NVIDIA Isaac ROS 将 NVIDIA 加速计算、物理 AI 模型和生产级库带给近 130 万 ROS 用户,帮助开发者使用免费、熟悉、开源的工具体构建高性能机器人应用。

将 AI 智能体引入机器人开发

AI 智能体 正在改变软件的构建方式,帮助开发者自动化重复性任务、浏览复杂代码库,并更快地将想法转化为可用的应用。Isaac ROS 5.0 将这些能力带入机器人开发。

Isaac ROS 5.0 引入了对 ROS Lyrical 和 Ubuntu 24.04 的支持,为开发者提供了一条采用最新 ROS 平台的路径,同时继续利用 NVIDIA 加速计算加速高要求的机器人工作负载。NVIDIA 与 Open Source Robotics Alliance 合作,向 ROS Lyrical 贡献了一个标准数据处理接口,帮助机器人软件在不同计算硬件(包括 GPU)上高效运行。 

该接口面向整个 ROS 社区开放,为开发者提供了一种一致的方式来加速高要求的机器人应用,CUDA 则提供了 GPU 加速的可用示例。

用于设置和操作的全新 NVIDIA Isaac 技能提供了可复用的工作流,开发者和 AI 智能体可用其完成机器人开发任务。面向智能体的文档也让 AI 智能体更容易理解 Isaac ROS 工具和工作流,从而更快地将开发者意图转化为可用的应用。

有些技能不仅仅辅助单个编码任务。一项新的 FoundationStereo 微调技能使 AI 智能体能够帮助将立体感知模型适配到开发者的相机、环境和机器人应用,让开发者能够轻松针对给定的传感器配置实现更准确的感知。

FoundationPose 是一个用于物体位姿估计和跟踪的基础模型,现在提供了面向智能体的推理库,使机器人能够以最高 5.5 倍的速度感知和跟踪物体的位置与朝向。 

此外,抓取和放置——一种连接检测、深度估计和位姿输出的常见工作流——现在作为独立的、面向智能体的技能提供,为机器人开发者提供了超越 Isaac ROS 的更多灵活性。

加速开源机器人生态系统

机器人生态系统机器人生态系统已经在将这种智能体方法扩展到开发工作流。

AgenticROS是由 3D 感知技术公司 RealSense 赞助的开源项目,它将 Isaac ROS 与 NVIDIA Nemotron 开放模型和 NVIDIA NemoClaw 蓝图连接起来,使 AI 智能体能够与基于 ROS 的机器人交互。RealSense 还在优化其最新的 AI 原生 3D 立体深度相机,包括 RealSense D585 Pro,以及面向 Isaac ROS 和 NVIDIA Jetson Thor 边缘 AI 平台的开源软件开发套件,帮助开发者构建感知、导航和操作应用。

Intrinsic的 Open Machine Tending Solution 是一个用于计算机数控机床上下料的参考应用,属于新发布的 Intrinsic Core 的一部分,这是一套开源、预配置的运行时服务和能力,旨在加速工业机器人应用。它内置与 NVIDIA FoundationPose 的兼容性,可实现开箱即用的物体配准、跟踪和位姿估计。使用 FoundationPose 感知流水线,该解决方案使机器人能够动态检测和处理零件,同时减少对刚性、昂贵的物理夹具和专用系统集成的需求。

Intrinsic 在其 Open Machine Tending Solution 中使用 FoundationPose 实现无缝的物体感知。

Seeed Studio 正在将 NVIDIA Isaac ROS 与 reBot Arm 结合使用,在 NVIDIA Jetson Thor 上融合加速感知、空间理解和运动规划。这一集成给开发者提供了一个实用的平台,用于构建可适应的物理 AI 应用,从物体定位到碰撞感知操作和自主抓取放置。

Magna 正在将 NVIDIA Isaac ROS 用作模块化、GPU 加速的基础,用于机器人感知、同步数据采集和 NVIDIA Isaac GR00T 模型部署,并将其与 Isaac Sim 硬件在环测试配对,以更快、更低风险地将智能自动化从研究带入现实世界的制造和出行领域。

Magna 将 Isaac ROS 与 Isaac Sim 配对,用于硬件在环测试,以实现更快的部署。

Prefix.dev 的 Pixi 包管理工具使创建可复现的机器人开发环境变得更加容易,将 ROS 与 NVIDIA CUDA 平台结合在一起,帮助开发者更轻松地设置和共享加速机器人工作流。

作为 Isaac ROS 合作伙伴,Foxglove 通过其网页和桌面工具帮助开发者可视化和调试实时 ROS 应用,这些工具已集成到 Isaac ROS 教程中,并支持 3D 话题、nvblox 网格和 rosbag 等数据。

Flexiv 正在将 Isaac ROS 与其 Rizon 4 自适应机器人集成,让开发者能够使用 NVIDIA 加速的机器人能力,并获得从在 NVIDIA Isaac Sim 中测试应用到在实体机器人上部署的简化路径。

一台使用 Isaac ROS 和 Isaac Sim 开发的 Flexiv 机器人作为焊接臂部署在汽车工厂中。

Ekumen(Grid Dynamics 旗下公司)正在现有的 ROS 和 Nav2 技术栈中使用 GPU 加速的 Isaac ROS 软件包,以改进精准对接、3D 障碍物检测、视觉定位和实时运动规划,并在 Isaac Sim 中验证每个应用。

Ekumen 在 GPU 上使用 isaac_ros_cumotion,为仓库机械臂在大约 2 到 5 毫秒内规划出一条无碰撞路径。

Ouster 将其 Stereolabs ZED 立体相机与 NVIDIA Isaac ROS 集成,为机器人应用提供 GPU 加速的感知能力。该集成简化了实时物体检测、建图和导航的开发,同时保持与更广泛的 ROS 生态系统的互操作性。

将完整的物理 AI 技术栈带到机器人上

开发者和智能体构建的应用最终需要在机器人上运行。

NVIDIA Jetson 是一个可扩展的计算平台,可在边缘以实时性能运行物理 AI 技术栈,将 ROS、加速感知与导航、AI 模型和应用逻辑汇聚到机器人上。

Isaac ROS 5.0 支持可扩展计算,从入门级 NVIDIA Jetson Orin Nano 到高性能 Jetson Thor 设备,随着机器人工作负载日益复杂,为开发者提供从开发到部署的路径。

机器人公司已经在使用这一组合,将更多 AI 处理直接带到他们的机器上。

Mentee Robotics 使用 NVIDIA Isaac ROS 作为其 MenteeBot 人形机器人的感知和 AI 骨干,使机器人能够实时解读视觉信息并执行学习到的行为。NVIDIA Jetson Orin 和 Jetson Thor 平台共享的软件基础帮助 Mentee 将其创新从现有机器人扩展到下一代系统。

MenteeBot 人形机器人使用 Isaac ROS 在 Jetson 硬件平台上扩展其感知能力。

Universal Robots 已将 NVIDIA Isaac ROS 构建到其 AI Accelerator 软件开发套件中,帮助集成商更快地部署先进的感知和运动能力,而无需从头开发复杂的机器人软件。该解决方案由边缘端的 NVIDIA Jetson 提供支持,使机器人能够适应未精确定位的零件,减少对昂贵夹具的依赖,并使制造单元更加灵活。

ROBOTIS 打造了开发者友好的基于 ROS 的 TurtleBot3,正在将 Isaac ROS 集成到其 AI Worker 机器人中,利用 GPU 加速的物体感知来实现视觉引导的操控任务,包括拾取、放置和对齐。

ROBOTIS 使用 NVIDIA Isaac ROS CuMotion 执行物体操控任务。

FieldAI 的机器人基础模型可以完全在机器人上运行,无需依赖云端连接,目前正在 Jetson 设备上集成 Isaac ROS,以更好地利用 GPU 加速并提升机器人端 AI 技术栈的效率。

Noble Machines 正在 Jetson 上使用 NVIDIA Isaac ROS 来加速面向工业应用的通用机器人的开发,基于即用型 AI 和感知能力进行构建,而非从零开始创建。

通过结合开放的机器人生态系统、加速计算和全新的智能体开发工作流,Isaac ROS 5.0 帮助开发者应对物理 AI 挑战的两个方面:构建能力日益强大的机器人应用,并在物理世界中高效运行它们。

Isaac ROS 5.0 现已发布,免费且开源。开发者可以在 GitHub 上了解更多信息并开始使用 NVIDIA Isaac ROS。

来源:NVIDIA Blog · blogs.nvidia.com

00