跳到正文
原文
NVIDIA Blog· Kari Briski·· 24 天前精选AI 评分78

NVIDIA 发布 Nemotron 3.5 Super VL 与 Bolt 系列开源模型,覆盖数据中心到桌面端

Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Models

正文 · AI 翻译

NVIDIA 今日发布了 Nemotron 3.5 Super VL,这是一个开放的 1200 亿参数模型,为专用常驻代理提供最快的任务完成速度和最高的准确性。

加入其中的是两款新的边缘模型:Nemotron 3.5 Bolt 74B-A9B 24GB,优化以平衡每 GB 的智能和速度,适用于本地代理工作负载,以及 Nemotron 3.5 Bolt E4B 4GB,优化以实现每 GB 的智能,适用于快速对话代理。

Super VL 和 Bolt 74B-A9B 现在即可使用,Bolt E4B 于 10 月 23 日推出。

这三种 开放模型 一起涵盖了代理部署的完整范围,从大型企业服务器到边缘设备和本地硬件。

任何希望在 NVIDIA 基础设施上运行代理的组织现在都为其层级提供了一个开放、优化的模型,而无需在能力和可部署性之间进行选择。

Super VL 和 Bolt 与 Lightning 和 Ultra 一起加入了 Nemotron 系列。

Lightning 于 8 月发布,处理高吞吐量工作负载;Ultra 处理最困难的推理任务;而 Bolt 将智能带到边缘。

Nemotron 3.5 Super VL:五分之一大小的前沿准确性

Super VL,由 Nemotron Coalition 联合开发,在多模态代理任务上提供领先的准确性——指令遵循、工具使用、多步业务工作流和视觉理解——与 NVIDIA 最大的推理模型相当,但参数数量约为五分之一。

Nemotron 3.5 Super VL 为高容量代理工作负载提供其类别中的前沿级智能。

作为其类别中最快的开放代理模型——比下一个最快的快 5 倍——它帮助企业代理更快地完成跨工作流的高容量任务,这些工作流可能跨越数天或数周。

Nemotron 3.5 Super VL 在 Artificial Analysis Intelligence Index 排行榜上领先,与其他同类模型相比,其吞吐量最高可达 5 倍。

与封闭式前沿模型不同,组织可以在自己的数据上对 Super VL 进行后训练,在自己的基础设施上部署它,并监督他们所构建的内容。

Nemotron 3.5 Bolt:边缘代理智能

Bolt 74B-A9B 24GB 旨在在 NVIDIA RTX/DGX Spark 上本地运行日常代理任务,使用原生 2 位量化以适应 24GB 内存并在其他应用程序旁边运行。

与其他具有相似内存足迹的模型相比,它在智能和速度之间提供了良好的平衡:足够智能以完成大多数工作,但比最智能的模型快得多。

使用 Bolt 74B-A9B 24GB,用户可以将他们的项目委托给流行的本地代理支架——从研究网络到编写到调试代码——而无需将工作负载发送到云端。它是其类别中排名第一的开放模型在 PinchBench,以及其类别中排名第二的开放模型为 BrowseComp。

Bolt E4B 4GB 专为 GeForce RTX、Jetson 和 RTX/DGX Spark 上的物理和对话代理而建。它结合了自然对话和多轮代理功能,以驱动快速本地语音助手、交互式角色和嵌入式界面。

采用定制超级智能

数十个跨行业组织在其自有数据、工具、策略和工作流程上对 Super VL 进行后训练,以提高其在定义其代理部署的专业任务上的准确性。 

各行业组织正在对 Super VL 进行后训练和定制。 Scale AI 为 Skydance 的供应商信贷金融代理和 EY 的并购尽职调查代理后训练了该模型。 AfterQuery 为 Hebbia 定制了用于信用协议分析的模型。 AI21 和 Alice 为网络安全攻击弹性后训练了该模型。 Mercor 在 APEX-SWE 编码基准上后训练了该模型,用于计划、编写和调试代码的代理。 ModelScope 使开发者能够通过其 ms-swift 框架对模型进行微调,用于专业的多模态应用。

其他定制 Nemotron 3.5 Super VL 的组织包括 Ramp 用于金融文档智能; Dream,主权 AI 驱动的网络安全研究和漏洞分析; Lila Sciences 用于科学发现和搜索,以及 R1 用于医疗索赔分析和收入周期管理。 TrainLoop 使用来自 Nolla 的皮肤科数据后训练了该模型,Nolla 刚刚成为首个获准使用 AI 编写初始患者处方的企业。

集成 Nemotron 3.5 Super VL 的软件平台公司包括: 

  • Atlassian, 用于跨 Jira 和 Confluence 等应用程序的代理式搜索等任务。
  • CrowdStrike 正在定制该模型用于企业安全中的代理式蓝队。
  • Dassault Systèmes 为工程设计和模拟提供支持。 
  • Perplexity 用于 Perplexity 搜索和计算机中的搜索和代理式任务。
  • Salesforce 正在定制 Nemotron 以通过 Missionforce Operations 在安全的客户环境中为 AI 代理数字化和自动化复杂的政府工作流程。
  • Synopsys 半导体设计验证软件与该模型互操作。

Nemotron 3.5 Super VL 实际上看到了什么

Nemotron 3.5 Super VL 的 视觉语言 优势针对代理在实践中遇到的内容:视觉文档中的光学字符识别、表格、图表和结构化信息。 

它处理一个网页,提取文本,读取图表和图表,并从其发现中返回见解。这同样适用于 PDF 和其他代理通常处理的文档。

Nemotron 3.5 Super VL 理解图像、网页和 PDF,并基于这种理解采取行动。将文本和视觉理解结合在一个模型中意味着代理不需要在单独的系统之间路由任务——上下文随着工作从文档到数据再到决策而传递。 

开放以实现最大程度的控制、安全和隐私

开放性和可定制性相互增强。该模型预装开放权重、开放数据集和训练配方。

控制运行在两个方向上。组织可以在其安全和数据驻留要求指定的任何地方运行该模型。他们还选择采用可以适应的模型,而不是受供应商限制的模型。

例如,在保险领域,定制的代理可以重复扫描索赔中的欺诈标记。在金融服务领域,代理可以审查信用评分,并根据组织自身的贷款标准标记活动。该模型保留在本地。数据保持私密。

通过 NVIDIA NeMo、基于 Python 的管道和开放数据集支持定制。

Nemotron 3.5 Super VL 在约 260 万亿个标记上进行训练,涵盖 预训练 和持续预训练,然后使用大约 380 万个样本和跨多个环境的强化学习进行后训练。

NVIDIA 还在 Hugging Face 上发布开放数据集,涵盖 代理工具使用、金融、指令遵循、长上下文、公平性和视觉语言理解,以及 NeMo Gym 中的强化学习环境。

NVIDIA NIM 将模型打包为生产就绪的微服务,具有性能优化的验证配置和企业级支持,每两周更新一次,包含安全补丁和性能改进。

并且,在 NVIDIA Dynamo 上运行该模型,组织可以以 85% 的延迟降低服务高达 8 倍的用户。

Nemotron 3.5 Super VL 现已在 Hugging Face、Open Router、ModelScope 社区 和 NVIDIA NIM 上提供。

运行在 DGX Spark、DGX Station 和 RTX 

Nemotron 3.5 Super VL 跨 NVIDIA 的完整硬件栈运行:在 DGX Spark、DGX Station、RTX PRO 和 RTX 系统上,用于桌面本地智能,在 NVIDIA Jetson 上用于边缘,并在数据中心和云环境中运行。

Nemotron 3.5 Bolt 74B-A9B 24GB 现已在 Hugging Face 上提供,支持 llama.cpp、Ollama、LM Studio、Unsloth、Canonical 和 vLLM。为 NVIDIA RTX Spark 笔记本电脑 设计,该模型也运行在 GeForce RTX 台式机、DGX Spark、DGX Station 和 RTX PRO 工作站 上。

下载 开放权重,使用 NVIDIA NeMo 探索定制资源,或阅读 技术博客 了解完整架构分解。

及时了解代理、NVIDIA Nemotron等信息,请订阅 NVIDIA新闻、 加入社区,并关注NVIDIA AI在 LinkedIn、 Instagram、 X和 Facebook上的动态。

探索 自学视频教程和直播。

查看 有关软件产品信息的通知。

来源:NVIDIA Blog · blogs.nvidia.com

00