跳到正文
原文
Hugging Face Blog·· 2026-07-07精选AI 评分62

Microsoft Foundry 上线 Hugging Face 模型托管计算

Hugging Face Models on Foundry Managed Compute

AI 摘要

Microsoft 在 Build 2026 上宣布 Foundry Managed Compute 及 Hugging Face 模型集合，将开源权重模型一键部署到托管 GPU 平台。

正文 · AI 翻译

在 Microsoft Build 2026 上，我们发布了 Foundry Managed Compute 和 Hugging Face models on Foundry——一个来自 Hugging Face 生态系统的开放权重模型精选目录，每周更新，一键即可部署到 Foundry Managed Compute。权重已预先存储在 Azure 中，运行时由 Microsoft 构建并扫描，Collection 中的每个模型都附带与 Foundry 上其他所有模型相同的企业级安全性、治理、可观测性和计费。

平台：Microsoft Foundry 与 Managed Compute

Microsoft Foundry 是一个用于构建和运行智能体 AI 应用的平台。Foundry 从任何云中提供最广泛的模型选择——来自 Microsoft、OpenAI、Anthropic、Meta、Mistral、DeepSeek、Hugging Face 等的模型，涵盖前沿、开源和自定义权重——全部可通过单一端点和一套 SDK（Python、C#、JavaScript 和 Java）访问。

在这些模型之上是 Foundry Agent Service：多智能体编排，内置记忆、通过 Foundry IQ 实现的知识 grounding，以及通过智能体协议连接的工具目录，使智能体能够处理企业数据。智能体运行后，Foundry 提供端到端追踪、实时监控、持续评估，以及一个根据评估结果改进智能体行为的提示优化器——可观测性和质量循环是平台的一部分。

除此之外，开发者还可以使用：

  • 内容安全过滤器
  • 任务遵循护栏
  • 用于对抗性测试的 AI Red Teaming Agent
  • 统一 RBAC
  • 专用网络
  • 直接在平台内集成 Azure Policy

除了按 token 付费（最低门槛的入门方式）和预置吞吐量（在前沿模型上可预测的高性能生产工作负载）之外，Foundry Managed Compute 是 Foundry 中的第三种部署选项：面向开源和自定义模型的托管 GPU 平台即服务。

你部署的模型实例由对工作负载重要的因素来描述——参数量、上下文长度，以及你希望优化延迟还是吞吐量——Foundry 在底层处理 GPU 拓扑，无论实例落在一个还是多个加速器上，因此你可以按模型术语来思考和规划。

Microsoft 负责机器：容器更新、运行时升级和安全补丁会在受支持的运行时上自动进行——vLLM、SGLang、TensorRT-LLM、NIM、TEI、llama.cpp——无需重新部署模型，而模型配置、部署行为和路由仍由你掌控。

这种一致性贯穿开发者界面——按 token 付费、预置吞吐量和 Managed Compute 共享：

  • 单一端点
  • 相同的 SDK
  • 相同的身份验证
  • 相同的可观测性
  • 单一账单

开源模型与 Foundry Agents 的集成方式与前沿模型相同，因此你可以在单个智能体中混合模型类型，而无需单独的集成路径。

Managed Compute 提供：

  • 全球部署——最广泛的容量和最优价格
  • 数据区域部署——驻留和主权

相同的代码，相同的工作流。配额与加速器系列对齐，因此今天基于 H100 系列构建的计划，在新硬件代际上线后仍可延续。

为什么选择 Hugging Face

Hugging Face 是开放 AI 的公共广场：1500 万开发者、40 万个组织、已发布超过 300 万个开放模型，每周都有新的前沿能力落地——智能体编程、视频分割、语音、嵌入。它是开放模型的 GitHub，社区在这里发布权重、编写模型卡、比较评估结果，并拉取模型进行实验。

开放模型在一个又一个基准测试上缩小了与专有模型的差距，并且解锁了专有端点无法做到的事情：

  • 最先进的能力如今已开放。领先的开放权重模型在最广泛使用的基准测试上，已能与顶级闭源前沿模型一较高下。
  • 深度定制。完整权重使得微调、蒸馏、量化以及使用 LoRA 进行适配成为可能——让模型贴合你的领域、你的数据，以及你的延迟和成本目标。
  • 你的模型，你的托管。权重运行在你自己的租户中、你掌控的基础设施上，位于你的推理端点之后，处于你的身份和网络边界之内。
  • 成本塑形。按小时为加速器付费，空闲时缩容至零，并根据具体模型合理配置 GPU——这对于稳定、高吞吐或对延迟敏感、且按 token 计价更难预测的工作负载非常有用。
  • 版本控制。固定某个具体的模型版本，对其进行评估、部署，并按你自己的发布节奏前进或回滚。

难点一直在于运维层：发现、许可证审查、安全筛查、运行时选择、GPU 规格配置、镜像构建、CVE 修补，以及将模型部署到企业级端点之后。Hugging Face 本身并不是企业级服务托管平台。Foundry 上的 Hugging Face 模型就是这一运维层，由 Microsoft 运营。

Foundry 上的 Hugging Face 模型

Hugging Face 集合将经过精选的一部分模型直接引入 Foundry 模型目录：

  • 每周刷新——随着社区发布，Hugging Face 生态中的热门模型会被持续加入。
  • 覆盖所有模态——文本、视觉、音频和多模态：用于聊天和智能体的 LLM 与 VLM、ASR 和语音翻译、嵌入、分割、图像生成。
  • 仅限 Safetensors，不含不可信代码——集合中的每个模型都经过安全筛查，并以 SafeTensors 权重格式提供，除非经过严格审查，否则不包含 trust_remote_code 执行路径。
  • 为模型匹配正确的运行时——LLM 使用 vLLM 和 SGLang，在适用处使用 TensorRT-LLM 和 NIM，嵌入使用 TEI，CPU 使用 llama.cpp——Foundry 会选择与模型匹配的引擎。

从你的角度来看，Hugging Face 集合中的开放权重模型与 Foundry 模型目录中的任何其他模型看起来和行为都一样，而且集合中的每个模型在出现在那里之前，都已通过多阶段发布流水线。

精选流水线

Hugging Face 与 Microsoft 携手，通过系统化的精选流程，将 Hugging Face 生态中最受欢迎的开放权重模型引入 Microsoft Foundry——为企业环境做好生产准备：

  1. 识别热门模型——基于社区信号、合作伙伴请求和客户需求，在 Hugging Face 生态中筛选候选模型，评估其企业就绪度。
  2. 合规与安全筛查 — 模型许可证会依据 Microsoft 的企业分发政策进行审核（许可证元数据会被捕获并保留在目录模型卡片上），同时会检查仓库中是否存在 trust_remote_code 模式和自定义可执行代码；任何需要在加载时执行第三方 Python 的模型都会被修复或排除。
  3. 构建、扫描并发布运行时 — Microsoft 在受支持的运行时（vLLM、SGLang、TensorRT-LLM、NIM、TEI、llama.cpp）上构建推理容器镜像，扫描其中的 CVE，然后签名并发布到 Microsoft 管理的容器注册表。
  4. 将权重上传到安全的 Azure 存储 — 模型权重从 Hugging Face 拉取一次，依据已发布的模型卡片进行验证，并存储在模型所服务区域的 Microsoft 管理 Azure 存储中。
  5. 验证并发布到目录 — 每个模型 + 运行时 + 加速器组合都会针对 API 一致性（聊天补全、嵌入、重排序等）和性能（延迟、吞吐量、首 token 时间、token 间解码时间）进行测试，然后经过验证的模型——连同其模板、运行时镜像和权重——会发布到 Foundry 模型目录，并提供一键部署到托管计算的路径。

由于权重已预先暂存在 Azure 存储中，且运行时镜像位于 Microsoft 管理的注册表中，你的部署无需出站访问 Hugging Face Hub——你可以在私有网络内部署到生产环境。

模型运行时

Foundry 上的 Hugging Face 模型由一系列多样化的社区构建开源推理运行时提供支持——每个运行时都针对 Foundry 托管计算进行了选择和调优，并与其最擅长服务的模型架构相匹配。在所有运行时中，系统化的策展流程意味着新版本和补丁会快速落地到 Foundry，现有模型部署会自动升级——无需你重新部署。

  • vLLM — 面向开放大语言模型的默认高吞吐服务引擎，针对生产 GPU 工作负载进行了调优。由于 Hugging Face 是 vLLM 的直接贡献者，Transformers 库中的任何模型都可以开箱即用地在 vLLM 上运行——因此当新模型落地 Hugging Face 时，它当天就能在 Foundry 上提供服务，无需等待自定义集成。

  • SGLang — 面向语言和多模态模型的服务引擎，对结构化输出（JSON、正则表达式、语法约束生成）提供强大支持，而智能体和工具使用工作负载正依赖于此。Hugging Face 与 SGLang 团队为 SGLang 构建了 Transformers 后端集成，因此 Transformers 库中的任何模型都可以开箱即用地在 SGLang 上运行——并在落地 Hugging Face 的同一天到达 Foundry。

  • 文本嵌入推理（TEI） — 用于嵌入、重排序器和序列分类模型的运行时。针对特定加速器的镜像附带为 Foundry 支持的每种 GPU 和 CPU 系列编译的内核，使嵌入热路径保持精简，适用于 RAG 和语义搜索工作负载。

  • llama.cpp — 面向 GGUF 量化模型的 CPU 和小型 GPU 路径。适用于成本优化部署、较小模型和纯 CPU 区域，并提供与 vLLM 和 SGLang 相同的 OpenAI 兼容 API。

  • TensorRT-LLM 和 NIM — 用于 NVIDIA 硬件，NVIDIA 的优化内核和基于 Triton 的服务可为特定模型系列带来显著更优的延迟或吞吐量。

  • hf-serve — Hugging Face 自有的多模型推理服务器，用于 LLM 和嵌入快速路径之外的模型架构（视觉、音频、分割及其他 Transformers 原生流水线），使 Collection 能够以一致的 serving 层覆盖所有模态。

部署并评分一个开放权重模型

Foundry 模型目录中的 Hugging Face Collection 是你的起点，部署共分五步：

  1. 浏览目录并选择模型 — 部署向导还会展示模型 id、部署模板 id 以及 acceleratorType，如果你通过 SDK 或 REST 编写部署脚本，这些都会用到。
  2. 选择部署模板 — 延迟优化还是吞吐量优化、加速器系列、上下文长度、量化。
  3. 配置实例数量 — 通过增加模型实例来扩展吞吐量。
  4. 部署 — 从门户、CLI、SDK 或 REST 进行。
  5. 评分 — 通过统一的 Foundry 端点，使用你已在用的 SDK。

部署模板

部署模板是第 2 步中的选择单元：一个具名、带版本的资产，固定了运行时、加速器系列和数量、上下文长度，以及为良好服务该模型所需的运行时特定调优 — 因此选择模板是你为“我希望这个模型如何运行”所转动的唯一旋钮。

例如，qwen3-32b 附带四个模板，部署向导会将它们并排展示：

模板 运行时 加速器 上下文
qwen–qwen3-32b–40k-nvidia-a100 vLLM 1 × A100 80 GB 40K
qwen–qwen3-32b–40k-nvidia-h100 vLLM 1 × H100 80 GB 40K
qwen–qwen3-32b–128k-nvidia-2xa100 vLLM 2 × A100 80 GB 128K
qwen–qwen3-32b–128k-nvidia-2xh100 vLLM 2 × H100 80 GB 128K

每个模板都针对该模型预先调优 — 运行时设置、工具调用和推理解析器、评分路径、健康探测、请求并发，以及任何模型特定的上下文扩展设置均由 Microsoft 设定，任何权衡都会在模板描述中内联说明。当你编写部署脚本时，引用该模板，Foundry 会处理其余事项。

部署 — Python SDK 

from azure.identity import DefaultAzureCredential
from azure.mgmt.cognitiveservices import CognitiveServicesManagementClient

client = CognitiveServicesManagementClient(DefaultAzureCredential(), SUBSCRIPTION_ID)

deployment = client.managed_compute_deployments.begin_create_or_update(
    resource_group_name=RESOURCE_GROUP,
    account_name=ACCOUNT_NAME,
    deployment_name="qwen3-32b",
    resource={
        "sku": {"name": "GlobalManagedCompute", "capacity": 1},
        "properties": {
            "model": "azureml://registries/azure-huggingface/models/qwen--qwen3-32b/versions/1",
            "deploymentTemplate": "azureml://registries/azure-huggingface/deploymenttemplates/qwen--qwen3-32b--40k-nvidia-h100/labels/latest",
            "acceleratorType": "H100_80GB",
        },
    },
).result()

评分 — OpenAI SDK

该部署可通过统一的 Foundry 端点使用 OpenAI SDK 访问 — `model` 字段接受你刚创建的部署名称：

from openai import OpenAI

api_key  = client.accounts.list_keys(RESOURCE_GROUP, ACCOUNT_NAME).key1
endpoint = f"https://{ACCOUNT_NAME}.services.ai.azure.com/openai/v1"

openai_client = OpenAI(base_url=endpoint, api_key=api_key)

completion = openai_client.chat.completions.create(
    model=deployment.name,
    messages=[{"role": "user", "content": "What is the capital of France?"}],
)

print(completion.choices[0].message)

在 Agent 中使用它

来自 Collection 的聊天补全模型可作为管理员连接的模型接入 Foundry Agents，并可通过 Foundry Responses API 使用相同的 OpenAI SDK 调用 — 相同的认证、相同的端点、相同的可观测性。

目前可用的内容

现已提供预览版：Microsoft Foundry 模型目录中的 Hugging Face Collection — 涵盖所有模态的数千个模型，每周刷新，可部署到 Foundry Managed Compute 上，使用 NVIDIA A100、NVIDIA H100 或 AMD MI300X 加速器，支持 Global 和 Data Zone 范围，位于统一的 Foundry 端点之后，支持 Playground、一流的 Azure Monitor 指标、按部署的计费标签，并自动为你的部署应用精选的运行时升级和 CVE 补丁。

路线图上的内容：更广泛地覆盖 Hugging Face 生态系统、更多加速器系列，以及 Bring Your Own Weights，用于通过与管理 Collection 模型相同的模板和治理方式部署微调和专有变体。

Hugging Face 是开放模型发布和被发现的地方。Microsoft Foundry 则是企业将其投入运营的地方——基于 Azure 中托管的经过筛选、许可证审查和安全审查的权重；基于社区构建且经过 CVE 扫描的运行时；置于单一端点之后，并在其上叠加企业身份、网络、可观测性和智能体集成。开源生态系统的广度，加上 Microsoft 在其下运行的运营层。如需深入了解 Foundry Managed Compute——定价、加速器 SKU、数据驻留、企业就绪性、可观测性以及完整的 Responses API + 记忆模式——请参阅 Managed Compute 发布博客。

来源：Hugging Face Blog · huggingface.co

#集群与供电
00