Google DeepMind 发布 D4RT：统一 4D 场景重建与追踪模型

2026年1月22日 研究

Guillaume Le Moing 和 Mehdi S. M. Sajjadi

介绍 D4RT，一个用于跨空间和时间进行 4D 场景重建与跟踪的统一 AI 模型。

每当我们观察世界时，我们都在进行一项非凡的记忆与预测壮举。我们看见并理解事物在某一时刻的样子、片刻之前的样子，以及接下来那一刻将会如何。我们对世界的心智模型维持着对现实的持续表征，我们利用这一模型对过去、现在与未来之间的因果关系得出直觉性的结论。

为了让机器能更像我们一样观察世界，我们可以为它们配备摄像头，但这只解决了输入的问题。要理解这些输入，计算机必须解决一个复杂的逆问题：拿到一段视频——即一系列扁平的 2D 投影——并恢复或理解那个丰富的、体积化的、运动中的 3D 世界。

今天，我们推出 D4RT（Dynamic 4D Reconstruction and Tracking），这是一个新的 AI 模型，将动态场景重建统一到一个单一、高效的框架中，使我们更接近人工智能的下一个前沿：对我们动态现实的完全感知。

第四维度的挑战

为了理解 2D 视频中捕捉到的动态场景，AI 模型必须跟踪每个物体的每个像素在空间的三个维度和时间的第四个维度中移动的过程。此外，它还必须将这种运动与摄像机的运动分离开来，即使在物体相互遮挡或完全离开画面时也能维持连贯的表征。传统上，从 2D 视频中捕捉这种级别的几何与运动需要计算密集型流程，或由多个专用 AI 模型拼凑而成——一些负责深度，另一些负责运动或摄像机角度——导致 AI 重建缓慢且碎片化。

D4RT 简化的架构和新颖的查询机制使其处于 4D 重建的前沿，同时比以往方法高效多达 300 倍——快到足以用于机器人、增强现实等领域的实时应用。

D4RT 的工作原理：基于查询的方法

D4RT 作为一个统一的编码器-解码器 Transformer 架构运行。编码器首先将输入视频处理为场景几何与运动的压缩表征。与为不同任务采用独立模块的旧系统不同，D4RT 使用一种灵活的查询机制，围绕一个单一的基本问题，只计算它所需的内容：

“视频中给定像素在任意时间、从选定的摄像机视角看，位于3D 空间中的何处？”

基于我们先前的工作，一个轻量级解码器随后查询这一表征，以回答所提问题的具体实例。由于查询彼此独立，它们可以在现代 AI 硬件上并行处理。这使得 D4RT 极其快速且可扩展，无论是跟踪少数几个点还是重建整个场景。

能力：快速、准确的 4D 理解

借助这种灵活的表述，该模型现在可以解决各种各样的 4D 任务，包括：

• 点跟踪：通过查询像素在不同时间步的位置，D4RT 可以预测其 3D 轨迹。重要的是，物体无需在视频的其他帧中可见，模型也能做出预测。
• 点云重建：通过冻结时间和相机视角，D4RT 可以直接生成场景的完整 3D 结构，省去单独相机估计或逐视频迭代优化等额外步骤。
• 相机姿态估计：通过生成并对齐同一时刻不同视角的 3D 快照，D4RT 可以轻松恢复相机的轨迹。

正如底层技术报告中详细所述，D4RT 在广泛的 4D 重建任务中优于先前方法。定性比较显示，其他方法在动态物体上表现不佳——常常将其重复或完全无法重建——而 D4RT 对运动世界保持着稳固、连续的理解。

关键在于，D4RT 的精度并非以效率为代价。在测试中，它的运行速度比先前的最先进技术快 18 倍到 300 倍。例如，D4RT 在单个 TPU 芯片上约五秒内处理了一分钟的视频。先前的最先进方法完成同一任务可能需要长达十分钟——提升了 120 倍。

下游应用

D4RT 表明，我们在 4D 重建中无需在准确性和效率之间做选择。其灵活、基于查询的系统可以实时捕捉我们的动态世界，为下一代空间计算铺平道路。这包括：

• 机器人：机器人需要在充满移动的人和物体的动态环境中导航。D4RT 可以提供安全导航和灵巧操作所需的空间感知能力。
• 增强现实（AR）：AR 眼镜要将数字物体叠加到现实世界中，需要对场景几何有即时、低延迟的理解。D4RT 的高效率有助于使设备端部署成为切实可行的现实。
• 世界模型：通过有效分离相机运动、物体运动和静态几何，D4RT 让我们更接近拥有物理现实真正“世界模型”的 AI——这是通往 AGI 道路上必要的一步。

我们正在继续探索该模型的能力及其在机器人、增强现实等领域的应用潜力。