谷歌推出StreamVibe视频AI助手

谷歌领导的研究团队推出了StreamVibe，一个旨在自行决定何时发言的视频代理。测试表明，这对当今的AI模型来说仍然非常困难。来自谷歌、斯坦福、牛津和几所美国大学的研究人员正在开发一个助手，它观察你做饭或组装家具，只在需要时发言。StreamVibe是一个视频代理，旨在理解模糊的请求，例如“如果我遇到任何困难，请帮助我”。根据论文，现有的视频助手是为明确的指令设计的，如“当水开始沸腾时告诉我”，因此它们很少注意到未说出的意图。它们还难以跟踪已经完成的事情，这导致它们重复建议或反应太迟，当用户在过程中改变请求时，助手通常坚持最初的指令。StreamVibe在任务过程中区分明确说明的、未说出的和变化的用户意图。

为了衡量这个问题，团队编制了一个包含约4100个示例的基准，这些示例来自183小时以上的日常生活和软件记录。Gemini 2.5 Flash建议何时提供帮助以及说什么，而四个人类评估者必须一致批准每个示例。测试包括明确指令、模糊目标和随时间变化的请求三个阶段。在其中一个示例中，一个用户拆开玩具挖掘机，请求进度更新，然后在三分钟后切换到请求质量检查。从那里，研究人员训练了StreamVibe-VL，一个显然基于阿里巴巴的Qwen3.5-9B的模型，它每秒决定一次是否保持安静或发言。第二阶段训练使用强化学习使模型更加保守，以免不断打断。一个单独的内存系统跟踪待处理的请求和完成的步骤，尽管模型本身决定何时以及说什么。一个单独的系统跟踪请求和任务状态，而模型本身决定何时和说什么。

根据研究人员，StreamVibe-VL在响应时间和质量上比其他模型提高了10.7%，而内存系统旨在通过另外12.3%的主动互动来提高响应率并减少不必要的打断。StreamVibe-VL通常大大优于其基础模型和其他开源模型，尽管谷歌的专有Gemini 3.8 Flash在几次测试中得分更高。根据论文，专门的训练不会损害视频理解能力。随着视频长度的增加，模型正确计时响应的可能性显著降低；主要减少不必要的打断。模型通常在特定时刻决定是否适当提示时做出正确的选择。但当它们处理整个视频并必须基于自己早先的响应进行构建时，所有测试系统的性能都会下降，错误会累积，基于系统自己的历史，响应的关键内容指标下降了高达61.5%。在五分钟以上的视频中，模型很少选择正确的时刻，并且发现长时间跟踪改变的指令特别困难。在论文和项目页面上记录的将照片转换为黑白的GIMP教程中，比较模型JoyAI说完成的图像已经保存，尽管用户还没有打开它，而StreamVibe-VL在正确的时刻给出下一步，例如“颜色”然后“去色”。在制作涂有果酱的卷面包的逐步指南中，其他模型只是描述屏幕上发生的事情，如面包被压平，而StreamVibe-VL。