实时交互模型研究进展

过去几年，大模型变得越来越聪明，但存在一个局限：如何在世界持续变化、交互持续发生的过程中保持智能。 用户提出问题，模型开始推理，生成答案，再等待下一次输入。 外部世界被切分成一个个完整的片段，智能只发生在片段之间。 但现实世界从来不会等待。 人与人交谈时，我们不必等对方讲完才开始理解，也不必想好所有内容才开口； 我们在倾听中形成判断，在表达中继续思考，还会因为对方一个停顿或表情，随时改变原本要说的话。 这种能力看似理所当然，今天的大模型却很难复现。 一批前沿研究正在试图改变这一点。

2026年，字节跳动Seed先后把原生全双工语音模型Seeduplex和音视频全双工模型SeedRealtime推上豆包App； OpenBMB开源了可在端侧运行的全模态实时交互模型MiniCPM-o 4.5； Thinking Machines Lab发布Interaction Models研究预览； OpenAI推出GPT-Live并开放API。 阿里通义、小米、阶跃星辰等团队，也沿着不同路线推进实时语音、持续推理与全模态建模。

这些工作指向同一个问题：当输入不再完整、环境持续变化，模型能否始终保持感知、推理与行动的连续性？ 投资人开始关注这一方向。 科技投资人、a16z Scout Rubén曾在LinkedIn上讨论清华研究者胥博凯参与的MiniCPM-o 4.5，他关注的不只是模型本身，还有推动这些突破的年轻研究者，以及他们从实验室走向创业的可能性。 如果向前追溯技术路线，会发现推动这场变化的人，并不来自同一种技术背景。 有人从同声传译出发，研究模型何时开口； 有人让模型边听边说； 有人让内部推理与外部表达同时进行；

还有人负责让这一切在真实系统中稳定运行。 这些原本独立的方向，正在汇合成一张新的技术与人才图谱。 想要理解这些工作如何汇合，先要回到一个基础问题：今天的人机对话与真实人际交流之间的区别是什么？ 在人际交流中，一句“我没事”，可能是真正的平静，也可能是勉强的掩饰。 我们会从语气、停顿和表情中判断言外之意； 对方尚未说完，我们已在组织回应； 他突然改口，我们又能立即调整。 人类不会把交流切成一次次独立问答，而是在信息持续变化中，实时判断什么重要、何时回应、下一步做什么。

而大模型所擅长的恰恰相反：它接收一段完整输入，再生成一段完整输出。 人机交互因此长期遵循轮流、中断的节奏，你说完它计算，它说完你接话。 这在简单问答里尚可接受，一旦进入需要持续协作的场景，就成为瓶颈。 实时交互研究要解决的，正是模型能否从离散的问答机器，变成持续感知、思考和回应的智能体。 全双工（Full-Duplex）原是通信术语：对讲机是半双工，同一时刻只能一方说话； 电话则是全双工，双方可以同时说、同时听。

放到AI交互里，原生全双工要求模型在输出的同时仍持续接收和理解新输入，并据此决定继续、暂停还是调整回应。 2024年5月，GPT-4o推动端到端语音模型走向大众，模型可以直接处理音频，理解语调与情绪，并生成有自然起伏的语音。 但端到端并不等于全双工。 前者讨论输入和输出能否由同一个模型统一建模，后者讨论它们能否在时间上持续并行。 早期的级联系统由语音识别、语言模型、语音合成依次工作，延迟高，还会丢失语调与情绪； 端到端模型减少了中间转写，却仍没有摆脱轮次式交互，通常要等用户说完再回应。 “低延迟”也常掩盖这一区别。

系统可以用语音活动检测（VAD）识别用户开口，收到打断信号就停止播报，做到百毫秒级响应； 但如果模型发声时关闭了听觉通道，每次中断后只能重开一轮推理，它仍是一台响应更快的轮次式机器。 设想AI正在介绍一家餐厅，用户突然说“等一下，我其实不吃辣”。 依赖VAD的系统只会停下播放，等待新一轮输入； 原生全双工模型则要在说话的同时理解这句话，并调整接下来的表达。 而用户随口一句“嗯嗯”，通常意味着“请继续”，而不是要求停下。 因此全双工的难点除了支持打断，还在于区分噪声、附和、迟疑、抢话和真实意图。

严格来说，原生语音全双工要求模型在生成输出时仍持续处理新音频输入，并根据语义与时机决定继续、暂停或调整回应，其本质上就是对连续时间的控制权——模型在每一个时刻都要决定自己该听、该说、该停，还是该换个说法。 2026年，原生全双工开始集中进入产品。 4月，字节跳动Seed团队的原生全双工语音模型Seeduplex在豆包全量上线。 官方评测显示，与半双工模型相比，复杂场景下误回复和误打断减少约一半，抢话比例下降约40%。

7月，OpenAI用全双工架构的GPT-Live替换了ChatGPT原有的语音模式，模型每秒可多次决定继续听、开口、暂停、打断或调用工具。 对话的基本单位，正从一问一答的“轮次”扩展为持续的时间流。 今天的实时交互不是由某个实验室一次性发明的。 它来自同声传译、听说并行、全模态建模、持续推理、交互后训练与推理基础设施等不同路线，近两年才在同一批模型和产品中相遇。 同声传译天然要求译者不等演讲结束就开口，因此必须在信息不完整时持续判断和输出。

机器同传研究把这一矛盾形式化为读写策略（Read/Write Policy）：输入尚未结束时，是继续等待，还是已有足够信息开始生成？ 这是在延迟与质量之间的取舍，中科院计算所自然语言处理团队（ICTNLP）在这一方向上有长期积累。 ICTNLP提出的StreamSpeech把语音识别、翻译与合成整合进同步语音翻译框架，后续的Stream-Omni又把流式处理扩展到更多模态。 类似的工作还有LLaMA-Omni系列，它实现了低延迟的语音生成。

但这条路线的价值在于提供了一种思路——把“何时听、何时说”变成可学习的决策问题。 它的局限也很清楚。 同传的输出目标相对确定，原文说什么就译什么； 开放对话的目标却随时在变，还要处理插话与意图转向。 从同传到对话，难度上了一个台阶。

由上海交通大学X-LANCE实验室与字节跳动研究者合作提出、发表于AAAI 2025的LSLM（Listen-while-Speaking Language Model）较早把“边说边听”作为独立问题提出：模型在生成语音时持续接收外界声音，若只是噪音、闲聊或附和就继续说，若判定用户真正插话就停下倾听。 2026年6月，中科院计算所冯洋团队发布BayLing-Duplex，进一步把用户语音、助手文本和助手语音组织成一条多通道交错序列，开口、被打断、重新开始都统一为下一个token的预测，不再依赖外部VAD。

对话控制正在从外部工程规则，变成模型自己学习的能力。 真实交流不只有语音，还有画面、环境声与手势。 模型不能只在某个时间点拼接模态，而要理解它们何时发生、如何相互影响。 开源项目Mini-Omni系列较早提供了端到端实时语音与多模态的开源探索。 2026年2月初，由清华大学自然语言处理实验室与面壁智能共同发起的开源社区OpenBMB开源了MiniCPM-o 4.5，其Omni-Flow框架把轮次式交互改写为时间对齐的全双工过程，感知与回应并行展开，还能根据持续观察的画面主动提醒。

按技术报告，这个约9B参数的模型可在内存不足12GB的端侧设备上运行。 三个月后，Thinking Machines Lab公布Interaction Models，把音视频与文本切成约200毫秒的片段并行处理，并配合异步后台模型负责推理与工具调用。 这说明国内研究团队并非只能跟随海外概念，相关模型和系统已经率先公开落地。 8月，字节Seed团队的音视频全双工模型SeedRealtime就在豆包上实现了“边看、边听、边说”。 需要区分的是，全模态与全双工是两个维度。

例如阿里通义的Qwen-Omni系列把音频、视觉与文本纳入统一的感知底座，回答的是“模型能理解多少种信息”； 而全双工回答的是“这些信息能否在时间上持续并行”，两种能力可以叠加，但不能互相替代。 边听边说，不等于边说边想。 用户通常是既要又要——既希望模型迅速开口，又不希望它为速度牺牲推理深度。 这条路线上的工作各自处理不同环节。 南洋理工大学与阶跃星辰联合完成的Chronological Thinking关注“听”的阶段。 多数全双工模型在用户说话时只是重复预测静音，处于空转；

它让模型随话语推进按时间顺序整理意图与逻辑，用户一停就能开口。 南洋理工大学团队（作者包括图灵奖得主Yoshua Bengio）的The Silent Thought（FLAIR）进一步让模型在倾听时以隐式表征推理，无需显式思维链标注。 同样出自NTU与阶跃合作的Mind-Paced Speaking关注“说”的阶段，让负责推理的“构思脑”与负责发声的“表达脑”并行，表达不必等推理完成。