NVIDIA 发布 Nemotron 3 Nano Omni 全模态模型

• NVIDIA Nemotron 3 Nano Omni 是一款全新的全模态理解模型，专为真实世界文档分析、多图像推理、自动语音识别、长音视频理解、智能体计算机使用以及通用推理而构建。
• 它将 Nemotron 多模态系列从强大的视觉-语言系统扩展为更广泛的文本 + 图像 + 视频 + 音频模型。
• Nemotron 3 Nano Omni 在 MMlongbench-Doc、OCRBenchV2 等复杂文档智能排行榜上实现了同类最佳准确率，同时在 WorldSense 和 DailyOmni 等视频与音频排行榜上领先。它在音频理解方面于 VoiceBench 上取得了最高准确率，并在 MediaPerf 上被评为最具成本效益的开放视频理解模型。
• 在底层，它结合了 Nemotron 3 混合 Mamba-Transformer 专家混合骨干网络、C-RADIOv4-H 视觉编码器和 Parakeet-TDT-0.6B-v2 音频编码器。
• 该架构旨在保留精细的视觉细节、增加原生音频理解能力，并扩展到超长多模态上下文，以处理密集图像、文档、视频和混合模态推理。
• 训练方案采用分阶段多模态对齐与上下文扩展，随后进行偏好优化和多模态强化学习。
• 在多模态用例中，Nemotron 3 Nano Omni 相比其他方案可提供高达 9 倍的吞吐量和 2.9 倍的单流推理速度。
• 在 HuggingFace 下载 BF16、FP8 和 NVFP4 检查点。
• 有关模型架构、训练方案、数据管线和基准测试的更多信息，请阅读完整的 Nemotron 3 Nano Omni 报告。

基准测试亮点
在 Nemotron Nano V2 VL 的基础上，Nemotron 3 Nano Omni 带来了显著的视觉提升，并新增了全新的音频和视频+音频能力——同时在许多领域领先于另一个开放权重全模态模型 Qwen3-Omni。

效率亮点
与具有相同交互性的其他开放全模态模型相比，Nemotron 3 Nano Omni 在多文档用例中提供 7.4 倍的系统效率，在视频用例中提供 9.2 倍的系统效率
图 1. 各模型在固定的每用户交互性阈值（tokens/秒/用户）下，多文档和视频用例所维持的总系统吞吐量

Nemotron 3 Nano Omni 的设计用途

概括而言，Nemotron 3 Nano Omni 面向五类工作负载：

1. 真实世界文档分析

这不仅仅是 OCR。该模型定位于长篇幅、杂乱、高价值的文档，其理解依赖于布局、表格、图表、公式、章节结构和跨页引用。例如合同、技术论文、报告、手册、多页表单或合规文件包。该模型可以处理 100 页以上的文档。

2. 自动语音识别

Nemotron 3 Nano Omni 具备强大的语音理解能力，能够在各种音频条件下实现高质量转录。它可以处理包含不同说话人、口音和背景噪声的长音频。这些能力可以集成到更广泛的工作流中，使语音内容能够被转录、分析，并与其他模态结合，用于摘要、问答和跨模态推理等任务。

3. 长音视频理解

许多企业和开发者工作流依赖于混合的音频和视觉证据：带旁白的屏幕录制、培训视频、带幻灯片的会议、教程、产品演示、客户支持记录以及长视频档案。Nemotron 3 Nano Omni 专为联合推理这些输入而构建。

4. 智能体计算机使用

Nemotron 3 Nano Omni 模型专为智能体计算机使用而训练，使其能够协助完成图形用户界面（GUI）环境中的任务。其能力包括解读屏幕截图、监控用户界面状态、将推理建立在屏幕视觉内容之上，以及协助动作选择或工作流自动化。

5. 通用多模态推理

该模型的设计不止于感知。它擅长推理密集型任务，这些任务需要跨长上下文窗口、多种模态以及结构化或半结构化证据来综合信息。它可以执行多步推理、进行计算，并连接来自文本、图像、表格和其他输入的信号，以得出连贯且有充分支持的答案。

模型架构与关键创新

Nemotron 3 Nano Omni 采用统一的 编码器-投影器-解码器 设计。语言主干是 Nemotron 3 Nano 30B-A3B，搭配 C-RADIOv4-H 视觉编码器和 Parakeet-TDT-0.6B-v2 音频编码器。各模态专用编码器通过轻量级投影器连接到 LLM 主干。

图 2. NVIDIA Nemotron 3 Nano Omni 30B-A3B 的模型架构

用于长多模态上下文的混合 Mamba-Transformer-MoE 主干

模型主干交错包含三个关键组件：23 个 Mamba 选择性状态空间层，用于高效的长上下文处理；23 个 MoE 层，具有 128 个专家、top-6 路由 和一个 共享专家，用于条件容量；以及 6 个分组查询注意力层，以保持强大的全局交互和表达能力。

Nemotron 3 Nano Omni 将状态空间模型、注意力和 MoE 结合在统一设计中，在保持强大推理性能的同时，对长多模态上下文仍然实用。

针对密集文档、图表和屏幕的动态分辨率

在视觉方面，Nemotron 3 Nano Omni 用 原生宽高比下的动态分辨率处理 取代了 v2 模型中使用的平铺策略。每张图像可以使用可变数量的 16 x 16 图块来表示，每张图像最少 1,024 个、最多 13,312 个视觉图块。对于正方形图像，这分别相当于 512 x 512 和 1840 x 1840。

这种灵活性对于处理高分辨率、复杂的视觉输入至关重要，例如 OCR 密集的文档、财务表格、幻灯片、研究图表、截图和 GUI 布局——尤其是当细节和整体结构需要同时被理解时。

用于视频的 Conv3D 时间压缩

对于视频，Nemotron 3 Nano Omni 使用专用的 Conv3D tubelet 嵌入路径。它不是独立地嵌入每一帧，而是在 ViT 之前将每对连续帧融合成一个单一的“tubelet”，从而将语言模型需要关注的视觉 token 数量减半。这使我们能够要么在相同的 token 预算下将帧数翻倍，要么在相同帧数下将 token 数量减半

EVS — 高效视频采样

EVS 是一项重要功能，在推理时启用，可在视觉编码器之后丢弃冗余的视频 token。这降低了延迟并提高了吞吐量，同时保持准确性。视频的第一帧被完整保留，然后对于每个后续帧，EVS 保留视频正在变化的“动态”token，并丢弃与前一帧相比没有变化的“静态”token。我们将此与 Conv3D 结合以实现卓越的压缩：Conv3D 将成对帧的 token 融合为一个，然后 EVS 修剪冗余的静态信息。

原生音频输入，而不仅仅是文本转录

音频部分由 Parakeet-TDT-0.6B-v2 提供支持，通过其自身的 2 层 MLP 投影器连接到主干。音频以 16 kHz 采样，模型使用最长 1,200 秒（20 分钟）的输入进行训练，而 LLM 的最大上下文长度支持 5 小时以上。

这代表了从传统 VLM 流水线的转变，通过在共享的多模态序列中实现原生音频处理，使音频、视觉和文本 token 能够联合建模。这对于诸如带解说的屏幕录制、语音改变视觉含义的视频问答、长篇教学或会议内容，以及需要时间基础的多模态推理的任务等场景至关重要。

轻量级模态投影器和统一的 token 交错

每个编码器通过一个轻量级的 2 层 MLP 投影器连接到 LLM，将编码器特征映射到共享的嵌入空间。一旦投影完成，视觉、音频和文本 token 被交错并联合处理。

这种设计保持了整体系统的模块化，同时仍然在主干内部实现真正的跨模态推理。

训练数据、基础设施和系统故事

SFT 阶段在 NVIDIA H100 上训练，根据阶段不同从 32 个节点扩展到 128 个节点。该技术栈使用 Megatron-LM、Transformer Engine 和 Megatron Energon，并采用张量并行、专家并行、序列并行、用于长上下文阶段的上下文并行、在线序列打包以及选择性激活重计算。

SFT 后的强化学习使用 NeMo-RL 和 NeMo Gym，并采用 Megatron 后端。该强化学习基础设施在 B200 和 H100 集群上使用了基于 Ray 的分布式设置，并配合多模态去重，因此重复的 rollout 不会使图像、视频和音频内存成倍增加。

我们开源了训练代码的很大一部分。

使用强化学习塑造可靠的多模态行为

我们在 Nemotron 3 Nano Omni 中引入了多环境文本和全模态训练。我们的文本强化学习训练阶段在 Nemo-Gym 中的多样化环境中进行，用于评估模型执行一系列动作的能力，例如工具调用、编写代码，以及满足可验证标准的多部分规划。

全模态强化学习训练模型在统一框架内跨图像、视频、音频和文本进行推理，涵盖从单模态到完全多模态场景的任务。多样化的验证器套件评估多种格式的输出，例如多项选择、数学、GUI 定位和 ASR，同时有意加入无法回答的案例，以教会模型在证据不足时放弃作答，而不是产生幻觉。

数据与数据流水线

Nemotron 3 Nano Omni 在增强数据集上进行训练，该数据集强调跨多种模态的高质量推理。我们显著扩展了任务覆盖范围，并为公共数据集有限的复杂推理场景引入了合成数据。为支持这一点，我们构建了任务特定的多阶段流水线，以实现可扩展的合成数据生成。

例如，我们使用 NeMo Data Designer 从大量真实世界 PDF 语料中生成了约 1140 万个合成问答对（约 450 亿个 token）。该数据集用于在训练后阶段增强长上下文文档推理，并在 MMLongBench-Doc 上实现了整体准确率 2.19 倍的提升。

我们在 Data Designer 开发者说明中详细介绍了完整流水线的演进过程，包括失败分析和关键经验教训。该说明还包含 九个可运行的流水线配方，可作为构建您自己的文档理解数据集的起点。

示例工作流

示例 1：长篇多页文档分析

Nemotron 3 Nano Omni 可以分析和推理长篇文档，例如财务报告、学术论文、产品手册等。以下示例从一份 100 多页的文档中检索财务指标，以计算另一个指标：

图 3：来自 MMLongBench-Doc 基准的示意性示例

模型被提示按如下方式回答问题：

Extract information from all the given images, then answer the question using a single word or phrase. Return 'Not answerable' if the answer cannot be derived from the the images.

该模型能够一次性完成长上下文检索、结构化提取、表格/图表阅读和多页推理。

示例 2：视频 + 音频理解

Nemotron-3 Nano Omni 执行联合音视频分析，既可在局部针对特定场景，也可在整个视频范围内全局进行。这使其能够回答需要跨模态推理的复杂问题——例如识别在音频中提到某个特定主题时正好出现的特定视觉内容。

视频

问题

Watch the video and listen to the narration.
1.What structure is on fire as shown in the video and how much money was being spent in its renovation project ? 
2. Describe in short what visuals are shown when the eye-witness narrates her experience?

答案

1. The structure on fire is the Notre Dame Cathedral, which was undergoing an almost $7 million renovation project.

2. When the eye-witness narrates her experience, the visuals show the cathedral engulfed in flames and thick smoke, scaffolding surrounding the burning roof, firefighters using ladders to spray water, a crowd of people watching from the riverbank, and views of the burning structure against the Paris skyline.

示例 3：智能体计算机使用 / 截图推理

Nemotron 3 Omni 可以集成到智能体计算机使用系统中，对用户意图进行推理、分析 GUI 元素并执行操作以完成任务。

该模型被授予访问一个网页环境的权限，并配有如下系统提示：

You are a GUI agent. You are given an instruction, a screenshot of the screen and your previous interactions with the computer. You need to perform a series of actions to complete the task. The passoword of the computer is {password}.

For each step, provide your response in this format:
{thought}
## Action:
{action}
## Code:
{code}

In the code section, the code should be either pyautogui code or one of the following functions wrapped in the code block:
- {"name": "computer.wait", "description": "Make the computer wait for 20 seconds for installation, running code, etc.", "parameters": {"type": "object", "properties": {}, "required": []}}
- {"name": "computer.terminate", "description": "Terminate the current task and report its completion status", "parameters": {"type": "object", "properties": {"status": {"type": "string", "enum": ["success", "failure"], "description": "The status of the task"}, "answer": {"type": "string", "description": "The answer of the task"}}, "required": ["status"]}}

用户指令

Find the Driver License Eligibility Requirements

模型响应：
上方 GIF 展示了智能体为完成用户请求所执行的操作

1. 它点击了“License & IDs”标签页
2. 然后它从下拉菜单中点击“Driver’s License”
3. 接着它点击左侧的“Driver’s License Eligibility”
4. 它在此页面向下滚动，然后又向上滚动
5. 最后，它为用户生成如下响应：

Successfully found the Driver License Eligibility Requirements page on the Virginia DMV website. The page contains comprehensive information about driver license eligibility including:

**General Requirements:**
- Must be a resident of the Commonwealth of Virginia
- Must be at least 16 years and 3 months of age

**First Time Drivers:**
- Must complete a state-approved driver education program
- Must obtain a learner's permit at least 60 days before taking the road skills test
- Must be at least 15 years and 6 months of age for a learner's permit
- No exceptions to age requirements

**New Residents:**
- Temporary residents: must obtain license within 6 months
- Permanent residents: must obtain license within 1 year

**Military Personnel:**
- Active-duty members of the Armed Forces stationed in Virginia
- Spouses and dependents 16 years and 3 months or older may drive with valid out-of-state license
- If vehicle is co-owned and out-of-state plates are used, all co-owners must be active duty members

**Out-of-State Students:**
- Full-time students enrolled in accredited Virginia schools (not employed) may drive with valid out-of-state license
- Full-time students who are employed are considered Virginia residents for vehicle laws

**Non-Residents:**
- Non-residents temporarily living in Virginia may drive with home state license for no more than 6 months
- Note: This does not apply to commercial vehicle drivers
- If becoming gainfully employed, must hold Virginia driver's license

**Identification and Residency Requirements:**
- Proof of identity (acceptable documents listed in DMV 141)
- Proof of legal presence in the U.S.
- Proof of Virginia residency
- Proof of Social Security number
- Proof of name change (if applicable)

Additional resources available: interactive document guide, "Acceptable Documents for Obtaining a Driver's License or Photo ID Card" (DMV 141), and Spanish language version.

示例 4：混合文档 + 图表 + 叙述推理

Nemotron-3 Nano Omni 可以分析图像中展示的图表、图形以及音频文件，以生成跨媒体之间的任何共性或差异。

图像

音频

问题

Use both the slide content and the spoken commentary.
List out any extra points mentioned by the speaker that is not shown in the slide

回答

Based on the speaker's commentary and the visual content of the slide, here are the extra points mentioned that are not explicitly shown or detailed in the slide:

*   **The Topic:** The speaker explicitly states she will be covering **multitask learning** with neural networks, while the slide title is simply "Some notation" (though it contains the mathematical definitions for tasks).
*   **Nature of the Output:** She describes the output ($y$) as a **probability distribution** over possible labels (e.g., tiger, tiger cat, lynx, cat), whereas the slide only shows a bar chart with class labels without explicitly labeling the vector as a distribution.
*   **Specific Task Example (Paper Titles):** She introduces a concrete example where the input is the **title of a paper** and the neural network is tasked with estimating the **length of the paper**. The slide shows "length of paper" near the bar chart, but does not visually distinguish how a paper title maps to these bars versus representing animal classes.
*   **Optimization Techniques:** She mentions that the loss function is typically optimized using **stochastic gradient descent** or a **"favorite optimizer,"** which are procedural steps not written on the slide (which only defines the loss function $\mathcal{L}$ to minimize).
*   **Input Diversity:** She specifies that inputs can be a **"wide range of unstructured inputs,"** specifically mentioning **images** and **text**. The slide visually displays a single image (a structured input) and uses a generic variable $x$ for the input class.

示例 5：声景

Nemotron-3 Nano Omni 可以分析图像中展示的图表、图形以及音频文件，以生成跨媒体之间的任何共性或差异。

音频

问题

What is producing the main sound in this audio, and what does the acoustic environment suggest about where it was recorded? 

回答

The main sound is a bird chirping, and the presence of multiple bird calls and a natural, open acoustic environment suggests the recording was made outdoors in a natural setting like a forest or park.

示例 6：音乐

Nemotron-3-Nano-Omni 可以解读并推理一般音频，包括声景和环境声音。

音频

问题

What's the overall vibe of this song, and what kind of scenario would it complement well?

回答

The song has a calm, reflective, and slightly melancholic vibe, with a gentle piano melody and soft string accompaniment. It would complement a quiet, introspective scene such as a rainy evening, a peaceful walk, or a moment of personal reflection.

开始使用 Nemotron 3 Nano Omni

参考文献

• NVIDIA Nemotron Nano V2 VL。技术报告： https://arxiv.org/abs/2511.03929
• NVIDIA Nemotron 3：高效且开放的智能。技术报告： https://arxiv.org/abs/2512.20856
• C-RADIOv4-H。Hugging Face 模型页面： https://huggingface.co/nvidia/C-RADIOv4-H
• Parakeet-TDT-0.6B-v3。Hugging Face 模型页面： https://huggingface.co/nvidia/parakeet-tdt-0.6b-v3
• Megatron-LM。GitHub： https://github.com/NVIDIA/Megatron-LM
• Transformer Engine。GitHub： https://github.com/NVIDIA/TransformerEngine
• Megatron Energon。GitHub： https://github.com/NVIDIA/Megatron-Energon