Google DeepMind 在 Gemini 3.7 Flash 等模型推出智能体视频理解

2026年9月1日

|

我们全新的智能体视频分析功能可将 token 消耗降低多达 88%，成本降低多达 66%，质量提升多达 7%。

Rohan Doshi

Google DeepMind 高级产品经理

Mario Lučić

Google DeepMind 研究总监

收听文章

[[duration]] 分钟

此内容由 Google AI 生成。生成式 AI 仍处于实验阶段

今天，我们在最新模型 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出智能体视频理解功能。这一新能力在提升准确性的同时，大幅降低了视频分析的 token 消耗和成本。与智能体视觉（将代码执行与 Gemini 模型的原生图像理解相结合）类似，智能体视频理解利用 Gemini 的原生视频工具来提升性能，并解锁视频处理的新能力，例如亚秒级片段检索、更精准的异常检测、精确计数等。

该功能即日起可通过 Google AI Studio 和 Gemini Enterprise Agent Platform 中的 Gemini API，用于视频上传和 YouTube 视频。

基准测试

当前的“静态”处理方式让模型以固定的每秒帧数（默认 1 FPS，可通过 API 调整）读取视频，与之不同，智能体视频理解将模型的核心推理与原生视频工具相结合，跨视觉帧、音频和转录文本动态搜索、扫描和检查目标视频片段。在标准视频分析基准测试中，搭载智能体视频理解的 Gemini 模型将分析成本降低多达 66%，token 消耗降低多达 88%，同时将准确性提升多达 7%。

这些效率提升在长视频（从 10 分钟的操作指南到 90 分钟的讲座，再到数小时的录像）上尤为显著，因为静态处理会迫使开发者要么承担高昂的 token 成本，要么采用会丢失关键细节的技术。

启用智能体视频理解后，Gemini 3.7 Flash 的 token 消耗降低多达 88%，准确性提升多达 7%。

虽然这些提升覆盖全部三款受支持的模型，但搭载智能体理解的 Gemini 3.7 Flash 在整体质量上表现最佳，并在质量与成本效率之间实现了最佳平衡，使其在受测的视频理解模型中处于准确率与成本的帕累托前沿。

使用智能体视频理解使 Gemini 3.7 Flash 处于视频分析的准确率与成本帕累托前沿。

工作原理

静态处理让模型以固定帧率读取媒体流，而智能体视频理解则让 Gemini 主动、以目标为导向地决定看什么、以何种速度看，以及通过哪种模态（帧、音频或转录文本）看，只获取所需的片段和信号。此前开发者可以手动完成这一过程，而借助智能体视频理解，Gemini 可以通过智能体循环来实现，调用内部工具加载视频文件的相关部分，从而显著减少开发开销。

能力与用例

智能体视频理解改变了开发者处理各类高要求应用中长视频内容的方式。

• 亚秒级片段检索：精准定位在 1 FPS 下容易被遗漏的瞬间状态变化和紧凑的剪辑边界，使精确的自动化视频编辑成为可能。
• 长篇幅大海捞针式搜索：在数小时的视频中回答复杂查询，而无需消耗数百万个 token。
• 异常检测：以更高 FPS 对感兴趣的时间窗口重新采样，以检查快速运动和细微的视觉伪影。
• 动作与物体计数：准确跟踪随时间重复的物理动作和不同的物体。

真实世界的结果

我们的许多早期访问合作伙伴在使用智能体视频理解进行测试时都看到了强劲的性能表现。以下是他们的评价：

开始使用

智能体视频理解可通过 Google AI Studio 和 Gemini Enterprise Agent Platform 中的 Gemini API 使用，将在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出。它采用标准的 Gemini API token 定价，不收取额外功能费用。

要启用它，只需在 API 配置中将处理设置为 "agentic"。阅读我们的开发者指南，深入了解该功能以及如何开始使用。

from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-3.7-flash",
    input=[
        {
            "type": "video",
            "uri": "https://youtu.be/7Z5Vy9JBANs",
            "processing": "agentic"
        },
        {
            "type": "text",
            "text": "What are the 3 most important announcements in this keynote?",
        },
    ],
)

print(interaction.output_text)

我们还将智能体视频理解的效率和质量提升带给 Google 各产品中的数十亿用户。该功能将很快在 Gemini 应用中面向所有用户推出，覆盖 Flash 和 Flash-Lite 模型。在未来几个月内，智能体视频理解还将为 YouTube 视频观看页面上的“Ask YouTube”功能提供支持，利用 Gemini 提供基于视觉内容的高质量答案。

感谢以下人员对本项工作的贡献： Sergi Caelles、Filip Pavetić、Ahmet Iscen、Suhas Yogin 以及 Agentic Vision 团队。

在您的收件箱中获取 Google 的最新消息

订阅我们的新闻通讯，获取产品更新、活动信息、特别优惠等更多内容。

您的信息将按照Google 隐私政策使用。您可以随时选择退出。