跳到正文
原文
NVIDIA Blog· Warren Barkley·· 1 小时前精选AI 评分70

NVIDIA深化开源承诺

NVIDIA Expands Open Source Commitment With OpenShell Donation and New AI Infrastructure

AI 摘要

NVIDIA在KubeCon + CloudNativeCon大会上深化了对开源的承诺,将NVIDIA OpenShell和Agent Substrate贡献给了CNCF

正文 · 清洗整理版

Kubernetes已成为管理数千个AI工厂应用运行的开源系统,是AI的基础,对其需求不断增长。 为应对这一需求,NVIDIA在KubeCon + CloudNativeCon大会上深化了其对开源的承诺。 NVIDIA将NVIDIA OpenShell(一个用于安全和管理自主代理的开源运行时)贡献给了Cloud Native Computing Foundation (CNCF),CNCF是一个非盈利组织,是Linux Foundation的一部分,也是KubeCon的举办方。

作为CNCF Sandbox项目,OpenShell将由构建其产品的组织管理,并由全球安全专家的专业知识加强。 NVIDIA还向Agent Substrate(一个由Google领导的、用于在Kubernetes上大规模运行长期代理工作负载的开源框架)做出了贡献,该框架已被接受进入CNCF Sandbox。

此外,NVIDIA还宣布了NVIDIA DSX AI Factory Platform的新组件:NVIDIA Kubernetes Engine、NVIDIA Kubernetes Recipes和NVIDIA Snapshot。 这些工具帮助团队在Kubernetes上部署、管理和扩展GPU基础设施,用于AI工厂。 这些进展共同标志着在使Kubernetes成为大规模AI工作负载的领先基础方面迈出了新的一步,使开发者能够为未来构建更安全、更高效的AI基础设施。

NVIDIA将OpenShell贡献给CNCF,使自主代理的安全基础设施掌握在社区手中,以构建、检查和改进——加速开发并加强其安全措施。 OpenShell赋予组织对AI代理能做什么的控制权。 它对代理活动应用确定性控制,使团队能够在代理使用工具、访问推理服务和执行工作负载时执行策略。 其可扩展的架构允许团队连接自己的计算、推理提供者、凭证存储和监控工具。 这使组织能够在不同的部署环境中应用治理,同时将OpenShell与其现有的企业系统集成。

在推出不到一年后,数百个组织已开始使用OpenShell,该项目已收到数万次贡献。 管理代理只是挑战的一部分。 组织还需要大规模部署它们。 NVIDIA正在向Agent Substrate(一个CNCF Sandbox中的Google起源项目)做出贡献,并确保其与NVIDIA Dynamo(用于模型推理)和KAI Scheduler(用于共享集群资源分配)协同工作。 这项工作将代理执行、推理服务和资源调度结合在Kubernetes上。

Agent Substrate在任务之间保留代理环境,同时在代理空闲时释放计算资源。 通过在共享代理池中暂停和恢复这些环境,它允许团队在不为每个会话保留专用计算的情况下扩展代理工作负载。 NVIDIA和Google还在合作开发OpenShell和Agent Substrate的集成,以便企业可以在云和本地系统上安全和管理代理。

The NVIDIA DSX AI Factory Platform software stack, from GPU infrastructure and Kubernetes management to workload orchestration and model serving.

来源:NVIDIA Blog · blogs.nvidia.com

00