UIUC/CMU团队提出Omni智能统一框架

来自 UIUC、CMU 等机构的研究团队在综述《Native Real-Time Interactive Omni Intelligence: A Unified Framework》中提出统一概念框架，系统讨论多模态模型如何在持续接收信息的过程中，保留理解与推理能力，并协调回应、打断和任务修正。 文章比较系统适配与模型原生两条发展路径，进一步讨论多速率计算与会话级评测，为分析实时交互系统提供共同视角。 多模态模型已经能够结合文本、图像、音频和视频回答问题。

在真实交流中，输入却往往没有明确的结束时刻：用户可能在模型回答时补充条件，视频中的场景可能持续变化，工具结果也可能在任务修改之后才返回。 例如，用户让语音助手查询周五的会议时间，系统开始检索后，用户又补充「改成下周一，下午也不行」。 这时，助手需要继续听取补充、更新当前任务，并判断先前启动的查询是否仍然有用。 回答生成得多快、旧查询是否准确，都无法单独说明系统能否处理好这次变化。 这类问题把模型的内容能力与交互过程联系起来。

系统既要理解新信息，也要判断什么时候可以回应、什么时候需要等待，以及正在进行的回答或行动是否应该调整。 该综述围绕这些要求，将模型表示、架构、训练、状态维护、部署与评测纳入同一框架。 研究亮点包括建立连接 Omni Intelligence 与 Omni Interactivity 的概念框架，用流式输入、演化状态和在线响应控制描述实时交互行为； 比较系统适配与模型原生两条发展路径，并分析跨越两条路线的前台与后台协同设计； 从六个维度组织评测，讨论能力保留、运行时协调及多速率交互智能的研究问题。

概念框架如何描述持续变化的交互综述首先区分两个相互关联的概念。 Omni Intelligence 关注跨模态的理解、知识、推理和生成能力； Omni Interactivity 关注交互展开时的响应决策，包括何时回答、何时等待，以及何时修改或停止输出。 两者共同构成 Interactive Omni Intelligence。 这一划分让研究者能够同时检查内容和行为。 一个系统可能回答准确，却无法利用随后到来的纠正； 另一个系统可能很快接话，但尚未获得足够证据就作出判断。

框架把这些表现放到同一次交互中考察，分析模型的能力如何在持续变化的条件下得到运用。 具体而言，文章用三个属性描述实时交互:流式输入（Streaming Input）:允许信息逐步到来，包括连续音视频、文本更新、屏幕变化和工具反馈。 系统需要在信息尚未完整时开始处理，并随输入到来继续推进。 演化状态（Evolving State）:要求系统能够把新信息纳入当前交互状态，即使先前的推理或生成尚未结束。 会议查询中的日期修正，需要改变系统正在维护的任务条件，并影响后续处理。

在线响应控制（Online Response Control）:涉及输出何时启动，以及交互中的输出能否修改或停止。 其对象可以是语音、文本、工具调用和界面操作。 用户打断之后，系统需要根据更新后的状态决定如何继续。 这