Google 研究发布 AI 视频联合导演框架，用多智能体实现长视频连贯生成

视频扩散模型的最新进展展示了卓越的高保真生成能力，其模型能够在数秒内渲染出逼真的场景。然而，尽管扩散模型能够生成高保真的视频片段，但将其转化为连贯的长篇叙事引擎仍然颇具挑战。

大多数现有的智能体流水线通过链式模块来自动化这一过程，但由于独立、手工设计的提示词，它们会遭受语义漂移（角色服饰或场景在镜头间发生细微变化）和级联失败（例如，上游素材的瑕疵破坏下游视频合成）的困扰。由于早期错误会传播并破坏长时程一致性，这一过程往往需要大量人工干预。从结构上看，这反映了经典的信用分配问题，因为终端失败很难追溯到具体的提示词。此外，现有方法还面临特征漂移，即实体和环境在无意中逐渐变化，或内容崩塌，即叙事无法有意义地推进。

今天，我们介绍关于 AI 视频联合导演的研究，这是一个统一的、多智能体框架，能够显式地规划多镜头叙事中的视觉连续性。该框架作为构建在 Gemini 和 Veo 之上的编排层，原生继承了诸如 SynthID 水印等安全机制。通过将长视频生成视为全局优化和世界状态跟踪问题，我们开发了一套框架——Co-Director（将在 COLM 2026 上发表）、CANVAS（将在 EMNLP 2026 上发表）、A²RD 和 VQQA——它们将人类高层次的创意规格转化为可执行的操作，通过自动化重复性的编排任务，从多模型提示和镜头链接到闭环视觉精修。

我们将这些框架设计为响应式的创意伙伴，它们抽象掉了维护视觉连续性的负担，让用户能够专注于讲故事的艺术。该架构通过将质量建模为测试时目标，将创意合成与一致性解耦。在全面的评估中，我们的框架在多镜头叙事一致性和角色持久性方面展现出显著提升，成功生成长达数分钟的视频，同时缓解了视觉漂移和流水线错误传播。

工作原理

为了解决长时程视频的多方面问题，我们将研究分解为四个基础支柱，每个支柱针对生成流水线中的特定瓶颈。

1. 用 AI 视频联合导演编排创意意图

为了确保整个视频的语义连贯性，我们提出了 AI 视频联合导演，这是一个分层多智能体框架，将视频叙事形式化为全局优化问题。我们不再依赖僵化的线性提示链，而是引入了分层参数化：一个多臂老虎机（MAB）全局性地识别有前景的创意方向。

这将创作过程形式化为一种搜索，即在探索新颖叙事策略与利用有效创意配置之间寻求最优平衡。系统采样抽象的创意轨迹——例如将信息型策略与小品式叙事模式以及特定美学原型相结合——并将这些轨迹动态注入子代理的系统提示中。这种自上而下的引导保证了整个流水线在统一愿景下运作。由于我们的 AI 视频联合导演框架作为编排层运行，它通过将这些结构化提示直接馈入基础的 Gemini 和 Veo 模型来实现这一愿景（尽管其模型无关的架构使其能够架设在任何基础生成模型之上）。这种架构确保所有生成的图像、视频和音频天然带有原生安全保护，包括 SynthID 水印。在生产环节，还可以对最终视频应用额外的安全分类器，以防止单独安全的片段之间产生意外的上下文交互。

该流水线通过两个相互关联的循环执行全局优化：战略引导和多阶段生产。首先，编排代理（Orchestrator Agent）使用 MAB 算法评估输入，以在三个维度上选择创意配置：（1）创意策略（意图），（2）叙事模式（故事结构），以及（3）美学原型（视觉基调与摄影风格）。这一配置驱动整个生产层级。前期制作代理（Pre-Production Agent）将简略的逐场景故事线和视觉素材综合为统一的故事板。随后，制作代理（Production Agent）使用专门的子代理将此故事板转化为具体的视听媒体：关键帧代理（Keyframe Agent）锚定角色和场景视觉，视频代理（Video Agent）添加运动，音频代理（Audio Agent）叠加匹配的旁白和配乐。

最后，一个多模态 LLM（MLLM）评审器在三个指定维度上对汇编好的剪辑进行评判，将分解后的奖励信号反馈给 MAB，以在连续的生成循环中迭代优化和改进选择。

2. 使用 CANVAS 进行视觉故事板制作

即使有了统一的脚本，生成长序列镜头往往也会导致角色漂移和环境不稳定。为解决这一问题，我们引入了通过视觉代理故事板实现连续性感知叙事（CANVAS），这是一个多代理框架，可在多镜头叙事中显式规划视觉连续性。

CANVAS 通过维护角色、地点和物体状态的结构化表示来强制保持连贯性，随着叙事的推进而不断更新。它作为构建在 Gemini 之上的编排层，依赖于持久化的视觉记忆。通过从记忆中检索视觉锚点或在需要时初始化新的锚点，CANVAS 确保在同一场景内的平滑过渡。这种显式的世界状态建模确保角色在再次出现时保持其身份，环境在重新访问时保留其空间结构。

为了直观展示这些效果，下图呈现了一个多镜头博物馆盗窃序列，将 CANVAS 与代表性基线方法进行对比：使用底层基础模型（Gemini-3.1-Pro）直接生成，以及另一种多智能体框架（AutoStudio）。图底部的提示词突出了反复出现的元素——例如小偷、展厅和宝石——这些元素必须保持完全一致的视觉特征。请注意每种方法如何处理连续转场（例如角色的服装）与非连续转场（例如镜头绕路后回到主厅）。仅使用 Gemini-3.1-Pro 生成时会出现道具不一致（文物发生变化）和背景漂移（房间布局偏移），显示出无引导生成的局限。AutoStudio 在镜头切换时同样出现退化，导致角色漂移（小偷的帽子消失）和背景不一致。相比之下，CANVAS 的持久视觉记忆确保角色、空间几何和物体状态在整个叙事过程中保持完美连贯。

3. 用 A²RD 扩展时间动态

为了将故事板转化为实际长达数分钟的视频，我们开发了 A²RD，一种智能体式自回归视频生成架构。A²RD 采用逐段生成的方式，并辅以多模态视频记忆来跟踪各段落的上下文和动态。

对于每个段落，它运行在检索—合成—精炼—更新的循环中。该循环的一个关键部分是智能体如何自适应地确定段落生成模式。它在外推——以允许自然的叙事推进——和插值之间平滑切换，后者将段落锚定到已有的实体和环境上。这有效地平衡了故事向前推进的需求与维持场景物理现实性的必要性。

为了测试该系统，下面这部十分钟的电影展示了一次长视频生成，它要求在长达数分钟的时间跨度内保持连贯的叙事推进。视频突出了系统如何在两种运行模式之间动态切换：使用外推将情节推向新的叙事节点，使用插值将回归的角色和环境锚定到其原始设计。虽然标准视频生成器会遭受严重的视觉衰减——角色变异、场景变形——但 A²RD 持续查询其多模态视频记忆，以从开场镜头到最后一帧保持角色身份、服装细节和结构几何。

4. 用 VQQA 进行闭环精炼

最后，我们需要一种让系统能够自主识别并修复视觉瑕疵的方法。现有的测试时优化方法通常要么计算开销高昂，要么需要对模型内部进行白盒访问。为解决这一问题，我们开发了视频质量问答（VQQA），一个统一的、多智能体框架，可泛化到多种输入模态和视频生成任务。

VQQA 会根据具体提示动态生成视觉问题，并将由此得到的视觉语言模型（VLM）评判作为语义梯度（提供自然语言形式的定向反馈，以指导迭代优化，类似于反向传播中的数值梯度）。这用人类可解释、可操作的反馈取代了传统的被动评估指标。随后，系统可以通过自然语言界面执行一个高效的迭代反馈循环（模型生成视频，通过视觉问题对其进行评估，并根据评判结果优化文本提示）。为防止在此优化过程中出现语义漂移，VQQA 采用了一种全局选择机制：不是盲目采用最终迭代的输出，而是由一个全局 VLM 评分器将优化轨迹中生成的每个视频与原始未编辑的提示进行对比评估。然后，系统选择得分最高的候选结果，确保局部修正不会损害更广泛的上下文。

在实践中，VQQA 作为黑盒提示优化器运行，而非像素级编辑器。它不直接修改像素，而是迭代优化文本提示，以修正诸如属性绑定错误或角色属性不一致等高层组合缺陷。这个更新后的提示会引导生成器在其潜在空间中采样一条新路径。在下面的示例中，VQQA 不会对原始帧进行遮罩或覆盖绘制；相反，它通过将逼真的迈拉气球纹理渲染到严格的立方体几何形状上，解决了模型在材质绑定上的困难，并通过让小提琴手和钢琴手在镜头切换中始终固定于各自的乐器，修正了演出中途混乱的乐器更换问题。

关键结果与基准测试

为了严格评估我们的框架，我们开发了三个专门设计的基准测试，以模拟专业视频制作中的挑战。

GenAD-Bench：使用人在回路流程，将 Gemini 3 Pro 与专门的图像模型配对，构建 50 个虚构品牌，每个品牌包含四种不同的产品。在 400 个独特场景中，它测试精确的营销约束，而不依赖版权冲突或训练先验。
HardContinuityBench：旨在评估空间与环境连续性。该基准使用复杂的 GPT-5.2 多镜头叙事故事板生成，通过场景再次出现之间的巨大间隔、演员服装和配饰的频繁变化，以及交互道具的复杂状态变化来挑战模型。
LVBench-C：针对长时程时间动态。该数据集包含 120 个纯文本场景，分为不断演变的角色状态、变化的物体属性和逐步揭示的环境，并保持严格的间隔规则，即关键视觉资产必须消失至少 10 个片段后，才能以符合叙事逻辑的真实变化回归。

我们的评估表明，相较于现有视频生成架构，性能有可衡量的提升。通过探索创意策略搜索空间，AI 视频联合导演在 GenAD-Bench 上达到了 81.4 的峰值质量得分，并在 ViStoryBench 上增强了故事一致性。CANVAS 利用结构化视觉记忆来缓解场景漂移，在 ST-Bench 和 HardContinuityBench 上，场景重现时的连续性获得了显著提升。对于长时程时间动态，A²RD 最小化布局漂移，从而在 VBench-Long 和 LVBench-C 上连续数分钟的运行中提升了角色和环境一致性。最后，VQQA 的闭环提示优化解决了物理和构图不一致问题，在 T2V-CompBench、VBench2 和 VBench-I2V 上带来了显著的绝对质量提升。有关我们的模型架构、训练配置和基线评估的全面细节，请查阅各篇论文。

未来方向

这些框架代表着朝着为创作者解锁连贯、长时程视觉叙事迈出的基础性一步。随着我们持续完善这些智能体架构，我们正在探索如何整合人在回路的工作流程。我们的最终目标不是取代人类叙事，而是通过抽象掉时间一致性和世界状态追踪这些繁琐复杂性来赋能创作者，确保他们始终掌控创意方向和叙事设计。

致谢

这项工作得以完成，离不开 Google 各研究团队的不懈努力。我们感谢 Andrew Pan、Brett Slatkin、Burak Gokturk、Carina Claassen、Daniel Vlasic、Do Xuan Long、Ishani Mondal、Jasmine Leon、Jingyun Liu、Joe Timmons、Jordan Boyd-Graber、Khanh G. LeViet、Kuang Su、Long T Le、Mihir Parmar、Min-Yen Kan、Nathan Hodson、Nick Losier、Palash Goyal、Rhyard Zhu、Sebastian Ko、Scott Penberthy、Yan Xu、Yang Li、Ye Jin、Zack Chomyn 和 Tomas Pfister 对这一系列研究所做出的宝贵贡献。