NVIDIA Vera Rubin NVL72 首次亮相 MLPerf Inference v6.1 并取得领先性能

系统性能、高效的基础设施扩展和持续的软件优化是决定 AI 推理经济性的关键杠杆。更高的系统性能意味着生成更多 token，从而带来更高收入。高效的扩展意味着随着硬件增加，吞吐量按比例增长，从而以更少的资源服务大规模用户。持续优化意味着从基础设施投资中创造更多价值。 

这三者的基础是平台通用性：同一套基础设施可运行任何模型、任何工作负载，从训练到推理、从推荐到推理、从语言到视频，从而保持高利用率。

NVIDIA 平台专为在所有这些方面进行优化而打造，今天发布的 MLPerf Inference v6.1 结果就凸显了这一点：

• NVIDIA Vera Rubin NVL72 系统首次亮相即带来领先性能：在首次 MLPerf Inference 预览提交中，NVIDIA Vera Rubin NVL72 的吞吐量比 GB300 NVL72 高出多达 3.7 倍。
• NVIDIA GB300 NVL72 以领先效率实现扩展：跨四个 GB300 NVL72 机架的 288-GPU 提交实现了 99% 的扩展效率，吞吐量从单机架基线近乎线性增长。
• 持续的软件优化带来性能提升：NVIDIA 在 MLPerf Inference v6.1 提交中的软件优化，相比 v6.0 带来了高达 1.6 倍的性能提升。v6.1 提交后优化仍在继续，带来了进一步的性能提升。

对于正在做出 AI 基础设施决策的组织而言，性能、扩展效率和软件迭代速度是决定长期推理经济性的重要考量因素。 

Vera Rubin NVL72 以领先性能完成 MLPerf Inference 首秀

NVIDIA 在 MLPerf Inference v6.1 套件中两个最严苛的基准测试上提交了 Vera Rubin NVL72 预览结果：DeepSeek-R1 和 Qwen3-VL。 

在 Qwen3-VL 上，Vera Rubin NVL72 在离线、服务器和交互式场景中，使用 vLLM 和 NVIDIA Dynamo 开源推理框架，吞吐量比 GB300 NVL72 高出多达 3.7 倍。在 DeepSeek-R1 上，使用 NVIDIA TensorRT-LLM 库，吞吐量比 GB300 NVL72 高出多达 2.5 倍。这些早期结果展示了 NVIDIA 加速的创新步伐，以及性能将如何通过持续的软件优化得到提升。 

这一性能意味着每个 Vera Rubin NVL72 机架相比 GB300 NVL72 机架可交付显著更多的 token、服务更多用户并创造更多收入，同时降低每 token 成本。

这些结果反映了硬件和软件的全栈协同设计。Vera Rubin 增强的 Tensor Core 和 Transformer Engine 加速了推理的 prefill 和 decode 阶段，而 NVFP4 精度减少了模型权重、注意力和 KV 缓存的内存占用——在输出质量损失极小的情况下提高吞吐量。 

Vera Rubin 的提交大量采用了分离式服务，将 prefill 和 decode 分离，并结合大规模专家并行，以在驱动 DeepSeek-R1 和 Qwen3-VL 等模型的 mixture-of-experts 层上实现最高效率。 

NVL72 纵向扩展域由第六代 NVIDIA NVLink 和 NVLink Switch 提供支持，可实现比现成以太网高 10 倍的包速率和低 3 倍的延迟，为这些技术在机架规模下发挥效力提供了互连基础。 

这种协同设计延伸到了 NVIDIA 的合作伙伴生态：Nebius 也提交了 Vera Rubin NVL72 预览结果，并展示了出色的性能。

能够跨多个步骤进行推理、规划和行动的 AI 智能体正在重塑推理性能的衡量方式。在旨在捕捉这一转变的基准测试中，例如 SemiAnalysis AgentX，Vera Rubin NVL72 在预览测试中实现了比 GB300 NVL72 高 30x 的性能。此外，即将推出的 MLPerf Endpoints 基准测试将为智能体推理工作负载带来标准化测量，超越传统吞吐量基准测试所能捕捉的范围。

NVIDIA GB300 NVL72 以领先效率实现扩展

扩展效率——即额外 GPU 转化为吞吐量提升的有效程度——是衡量 AI 基础设施生产力的关键指标。NVIDIA 通过每个机架内的高带宽、低延迟纵向扩展互连、机架之间的高带宽网络以及跨节点的高效请求编排来实现这一点。

NVIDIA 的 DeepSeek-R1（DSR1）提交从单个 GB300 NVL72 机架（72 个 GPU）扩展到四个机架（288 个 GPU），在离线场景中实现了 99% 的扩展效率。吞吐量几乎与新增硬件成比例增长。

扩展效率之所以关键，是因为更多 GPU 并不自动意味着吞吐量成比例增加。如果增加近一倍的 GPU 数量仅带来个位数百分比的吞吐量提升，基础设施成本将远远超过性能回报。架构、互连和软件必须协同扩展。

GB300 NVL72 还在 WAN 2.2 文本到视频基准测试中展示了机架级效率，达到每秒 0.65 个 720p 视频，每个视频耗时 5.7 秒——吞吐量提高 9 倍，延迟降低 7.5 倍，相比单节点。

软件优化推动持续提升

NVIDIA 平台持续进行软件开发，带来性能和功能改进。 

在 v6.1 中，GB300 NVL72 在 Qwen3-VL 上的性能相比 v6.0 结果提升高达 1.6 倍。这些提升来自更低的 KV 缓存精度、额外的内核融合、更好的内核以及使用 vLLM 和 NVIDIA Dynamo 的分离式服务。 

软件优化在 v6.1 提交截止日期之后仍在继续。提交后的结果尚未经 MLCommons 验证，在 GPT-OSS-120B 和 DLRMv3 上显示出进一步的性能提升。 

各种规模的 AI 推理

除了 NVIDIA Grace Blackwell 和 Vera Rubin NVL72 平台的结果外，NVIDIA 还提交了 Jetson AGX Thor 的结果，在全新推出的 Edge-Agentic 基准测试中使用 NVIDIA TensorRT Edge-LLM 运行 Qwen3.6-27B。

NVIDIA 合作伙伴生态系统广泛参与，共有 19 家合作伙伴——其中八家在多节点 Blackwell NVL72 系统上——展示了出色的性能。这包括 ASUS、Azure、Cisco、CoreWeave、Crusoe、Dell Technologies、Fujitsu、Giga Computing、HPE、Inventec、Lambda、MiTAC Computing、Nebius、Oracle Cloud Infrastructure、Quanta Cloud Technology、Red Hat、ScitiX、Supermicro 和 Wiwynn。

从紧凑的边缘设备到最大的 AI 工厂，NVIDIA 通过平台架构的年度节奏、持续改进的软件以及为大规模交付而构建的生态系统，持续推动全技术栈的性能提升。

了解更多关于 NVIDIA Vera Rubin 平台 的信息。