跳到正文
原文
NVIDIA Blog· Warren Barkley·· 1 小时前精选AI 评分70

NVIDIA深化开源承诺

NVIDIA Expands Open Source Commitment With OpenShell Donation and New AI Infrastructure

AI 摘要

NVIDIA在KubeCon + CloudNativeCon大会上深化了对开源的承诺,将NVIDIA OpenShell和Agent Substrate贡献给了CNCF

正文 · AI 翻译

Kubernetes,这个开源系统管理着数千个AI工厂中应用程序的运行方式,已成为AI的基础,对其的需求也在不断增长

为了帮助满足这些需求,英伟达正在深化其对Kubernetes和云原生社区旗舰会议KubeCon + CloudNativeCon的开源承诺

英伟达正在将其开源运行时NVIDIA OpenShell——用于保护和管理自主代理的——贡献给云原生计算基金会(CNCF),该基金会是Linux基金会的一部分,也是KubeCon的主办方。作为一个CNCF沙盒项目,OpenShell将由将其集成到产品中的组织管理,并由全球安全专家的专业知识加强

英伟达还正在为Agent Substrate做出贡献,这是一个由谷歌领导的、开源的框架,用于在Kubernetes上大规模运行长时间代理工作负载,该框架已被接受进入CNCF沙盒

此外,英伟达宣布了NVIDIA DSX AI Factory Platform的新组件:NVIDIA Kubernetes Engine、NVIDIA Kubernetes Recipes和NVIDIA Snapshot。这些工具帮助团队在Kubernetes上部署、管理和扩展用于AI工厂的GPU基础设施

所有这些进展共同标志着在使Kubernetes成为大规模AI工作负载的领先基础方面迈出了新的一步——使开发者能够为未来构建更安全、更高效的AI基础设施

在开放中保护AI代理

英伟达将OpenShell贡献给CNCF,将自主代理的安全基础设施交到了社区手中,以构建、检查和改进——加速开发并加固其安全措施。

“云原生社区面临一个新的基础设施挑战:为代理提供安全的运行环境,”Linux基金会CEO吉姆·泽姆林表示。“英伟达将OpenShell贡献给CNCF,为开发者提供了一个共同的基础来构建,并有机会塑造代理安全如何发展。将这项工作带入社区将促进对关键下一代云原生应用的基础设施的更广泛合作。”

OpenShell使组织能够控制AI代理可以做什么。它对代理活动应用确定性控制,因此团队可以在代理使用工具、访问推理服务和执行工作负载时强制执行策略。其可扩展的架构允许团队连接他们自己的计算、推理提供者、凭证存储和监控工具。这使组织能够在不同的部署环境中应用治理,同时将OpenShell与其现有的企业系统集成。

数百个组织已经使用OpenShell,该项目在推出不到一年的时间里已经收到了数万次贡献。

在Kubernetes上扩展代理执行

管理代理只是挑战的一部分。组织还需要大规模部署它们。

NVIDIA 正在为 Agent Substrate 贡献力量,这是一个由 Google 发起的 CNCF Sandbox 项目,并确保它能够与 NVIDIA Dynamo 进行模型推理和 KAI Scheduler 进行共享集群资源分配。这项工作将代理执行、推理服务和资源调度结合在 Kubernetes 上。

Agent Substrate 在任务之间保留代理环境,同时在代理空闲时释放计算资源。通过在共享的代理池中挂起和恢复这些环境,它允许团队在不为每个会话运行专用计算的情况下扩展代理工作负载。

NVIDIA 和 Google 还在合作开发 OpenShell 和 Agent Substrate 的集成,以便企业能够在云和本地系统上安全和管理代理。

为 AI 工厂构建开放基础

AI 工厂需要为客户提供托管 Kubernetes 服务,同时保留对其基础设施、软件和客户体验的控制。三个新的开源项目扩展了 DSX AI 工厂平台,使 Kubernetes 的运行更容易,推理扩展更快。

The NVIDIA DSX AI Factory Platform software stack, from GPU infrastructure and Kubernetes management to workload orchestration and model serving.
NVIDIA DSX AI 工厂平台软件栈,从 GPU 基础设施和 Kubernetes 管理到工作负载编排和模型服务。

NVIDIA Kubernetes Engine (NVKE) 和 NVIDIA Kubernetes Recipes (NVKR) — 现在已公开预览 — 提供开源构建块,用于在 GPU 基础设施上提供托管 Kubernetes 服务。它们自动化集群生命周期管理并提供签名、版本固定的镜像。

NVKE 和 NVKR 与生态系统支持一同推出,扩展了它们在 AI 基础设施平台和云服务中的覆盖范围。 Mirantis、Netris、OpenNebula Systems、Rafay、Spectro Cloud 和 vCluster,以及 Firmus 和 SK Telecom,已经与 NVIDIA 一致,计划将 NVKE 和 NVKR 的功能集成到他们的产品中。

NVIDIA Snapshot 解决了快速上线额外推理能力面临的挑战。加载模型和预热工作负载可能会延迟扩展和恢复。这个开源、模块化的组件在几秒钟内恢复检查点副本,无需重新加载模型或预热,支持在 Kubernetes 上为推理和代理工作负载提供更快的启动、恢复和弹性。

设计合作伙伴 Crusoe 和 Saturn Cloud 使用 NVIDIA HGX B300 系统 在他们自己的工作负载上评估了 Snapshot。 Crusoe,Snapshot 的上游贡献者,在 Crusoe Cloud 上测试了 GLM-5.3,并将工作负载准备就绪的时间从大约八分钟减少到 31 秒。 Saturn Cloud,一个代币工厂平台,对 Snapshot 进行了零到规模推理的基准测试,并将 vLLM 启动时间从两到 8.5 分钟减少到六和 34 秒。

通过加入 NVIDIA at KubeCon.

来源:NVIDIA Blog · blogs.nvidia.com

00