谷歌推出StreamVibe视频AI助手

由谷歌领导的一个研究团队推出了StreamVibe，这是一种视频代理，旨在自行决定何时发声。上面的测试显示了这对当今的AI模型来说有多么困难。

来自谷歌、斯坦福大学、牛津大学以及几所美国大学的研究人员正在开发一个助手，它会观察你做饭或组装家具，并且只在需要时才发声。有了StreamVibe，他们构建了一个视频代理，旨在理解甚至模糊的请求，例如“如果我遇到任何困难，请帮我。”

根据论文，现有的视频助手是为清晰的指令设计的，例如“水开始沸腾时告诉我”，因此它们很少能捕捉到未说出口的意图。它们在跟踪已经完成的事情方面也有困难，这导致它们重复建议或反应太迟，当用户在过程中改变请求时，助手们通常坚持最初的指令.

Diagram showing how StreamVibe distinguishes between explicitly stated, unspoken, and changing user intentions during a task — StreamVibe能够区分任务过程中明确表达的、未说出口的和变化的用户意图。 | 图片：谷歌Deepmind

一个更专注的助手的三个组成部分

为了衡量这个问题，团队收集了一个包含大约4100个例子的基准，这些例子来自183小时以上的日常生活和软件录制。Gemini 2.5 Flash建议何时提供帮助以及说什么，而四个人类评估员必须一致批准每个例子。测试包括三个阶段：清晰的指令、模糊的目标以及随时间变化的请求。在一个例子中，一个正在拆解玩具挖掘机的用户要求进度更新，然后在三分钟后切换到要求质量检查.

从那里开始，研究人员训练了StreamVibe-VL，一个显然基于阿里巴巴的Qwen3.5-9B的模型，它每秒决定一次是保持沉默还是发声。第二阶段训练使用强化学习来使模型更加谨慎，以免它不断打断。一个单独的记忆系统跟踪待处理的请求和完成的步骤，尽管模型本身决定何时以及说什么.

Diagram of StreamVibe's architecture: a separate memory system tracks requests and task status while the model decides when and what to say. — 一个单独的系统跟踪请求和任务状态，而模型本身决定何时和说什么。 | 图片：谷歌Deepmind

所有测试的模型在连续运行时都会失去对话的跟踪

据研究人员称，StreamVibe-VL在响应时间和质量上比其他模型提高了10.7%，而记忆系统旨在通过另外12.3%来提高主动交互，并减少不必要的打断，等等.

StreamVibe-VL通常大大优于其基础模型和其他开源模型，尽管谷歌的专有Gemini 3.8 Flash在几次测试中得分更高。根据论文，专门的训练不会损害视频理解的一般能力.

Chart showing that as video length increases, models are significantly less likely to time responses correctly, with the harness mainly reducing unnecessary interruptions. — 随着视频长度的增加，模型正确把握响应时机的能力显著降低；挽具主要减少不必要的打断。 | 图片：谷歌Deepmind

当模型只需在特定时刻决定是否给出提示时，它们通常能做出正确的选择。但当它们处理整个视频并需要基于自己早先的回应进行构建时，随着错误的累积，所有测试系统的性能都会急剧下降，并且根据系统自身的历史记录，响应的关键内容指标会下降高达61.5%。在超过五分钟的视频中，模型很少能选对时机，并且很难在长时间内跟踪指令的变化。

在一篇论文和项目页面上记录的GIMP教程：将照片转换为黑白中，比较模型JoyAI表示最终图像已经被保存，尽管用户还没有打开它，而StreamVibe-VL则在正确的时机给出下一步操作，例如“颜色”然后“去色”。在制作涂果酱烤面包的逐步指南中，其他模型只是描述屏幕上发生的事情，例如面包被压平，而StreamVibe-VL建议先切掉面包边。

Side-by-side comparison showing that while other models only describe on-screen action, StreamVibe provides specific next steps during a task. — 虽然比较模型通常只描述视频中发生的事情，但StreamVibe提供具体的下一步操作。 | 图片：Google

研究人员承认现实情况可能比他们的测试设置更复杂，未来的工作将研究用户偏好和环境如何随时间相互影响。

谷歌一直在研究主动分析视频的人工智能系统。去年九月，谷歌推出了基于代理的视频分析Gemini，其中模型自己决定要仔细检查哪些场景。最近，谷歌还展示了Gemini 4 Argon，展示了人工智能如何跟踪机器人视频中的更长时间的动作序列并发现错误。StreamVibe的助手旨在理解任何时刻发生的事情，并识别何时确实需要它的帮助。

在ProactiveBench基准测试中，当缺少视觉信息时，人工智能模型通常会猜测或拒绝回答，而不是提出具体问题。一个单独的视频理解基准测试揭示了空间和时间推理的重大弱点。对于自主人工智能代理来说，对话本身也可能损害性能，正如微软研究人员所展示的那样。