Hugging Face 与 Cerebras 将 Gemma 4 引入实时语音 AI

对于语音 AI 而言，延迟是一个关键参数。开发者们在模型质量方面已经取得了巨大进步，但用户体验仍然常常受限于响应时间。Hugging Face 和 Cerebras 正在改变这种体验。今天，我们将展示当开放的模块化语音 AI 架构与业界领先的推理速度相结合时，能够实现怎样的可能。

其结果是带来一种听感上自然得多的语音到语音体验。用户不必再等待 AI 作出回应，对话的流畅度达到了人们期望从人类互动中获得的响应水平。

架构：一个开放、级联的语音到语音技术栈

该演示构建为一个实时语音到语音流水线。系统的每个部分都是模块化、开放且可替换的，使开发者能够轻松地针对不同的助手、机器人、产品或研究项目调整这一技术栈。

这形成了一个完全开放的语音到语音闭环：

Speech input
  -> speech recognition with Nvidia's Parakeet
  -> Gemma 4 VLM inference on Cerebras
  -> text-to-speech with Alibaba's Qwen3TTS
  -> spoken response

该架构汇聚了开源 AI 生态系统的力量：Cerebras 负责快速推理，Google DeepMind 的 Gemma 4 31B 作为语言模型，Qwen 负责文本转语音。每一层都可以由开发者进行检查、修改和扩展

Cerebras 与 Hugging Face 的合作

如今，一些生产系统虽然中位延迟尚可，但在 P95 处仍会经历令人沮丧的数秒延迟。当工具调用或多模态步骤需要多轮交互时，这些延迟会变得更加明显。

Cerebras 帮助解决了这一技术栈中最重要的瓶颈之一：语言模型的响应时间。通过让推理变得显著更快、更稳定，Cerebras 让 Hugging Face 流水线的其余部分得以大放异彩。

这种稳定性在长尾部分尤为重要。许多系统能够提供可接受的中位响应时间，但偶尔出现的缓慢响应仍会让对话显得不可靠。

为真实世界的交互而构建

这一同样的 Hugging Face 语音到语音流水线已经为 Reachy Mini 机器人提供支持，目前已有超过 9,000 台机器人在实际环境中运行。对于机器人、语音助手和具身 AI 而言，响应性并非表面上的改进，而正是它让交互显得鲜活。

因此，使用 Cerebras 的动机不仅仅是降低成本，而是低延迟、可预测的性能，以及大规模打造自然实时体验的能力。

这一合作体现了一种共同信念：AI 的未来将是开放的，同时也是高性能的。开源模型、开放基础设施与突破性的推理速度共同为下一代对话式 AI 奠定了基础。

我们邀请开发者探索这一演示、试用代码，并帮助塑造实时语音 AI 的未来。

演示：Hugging Face Space

代码仓库：huggingface/speech-to-speech