Google DeepMind 发布 Gemma Scope 2 可解释性工具套件

2025年12月19日 责任与安全

语言模型可解释性团队

发布一套全新的、开放的语言模型可解释性工具套件

大型语言模型（LLM）能够完成令人惊叹的推理壮举，然而其内部决策过程在很大程度上仍不透明。如果系统未按预期运行，缺乏对其内部运作的可见性会使我们难以准确找出其行为的确切原因。去年，我们通过 Gemma Scope 推进了可解释性科学，这是一套旨在帮助研究人员理解 Gemma 2（我们轻量级开放模型系列）内部运作的工具包。

今天，我们发布 Gemma Scope 2：一套全面的、开放的可解释性工具套件，适用于所有 Gemma 3 模型规模，从 270M 到 27B 参数。这些工具使我们能够追踪模型整个“大脑”中的潜在风险。

据我们所知，这是迄今为止 AI 实验室发布的最大规模的开源可解释性工具。制作 Gemma Scope 2 涉及存储约 110 PB 的数据，以及训练总计超过 1 万亿个参数。

随着 AI 持续进步，我们期待 AI 研究社区使用 Gemma Scope 2 来调试涌现的模型行为，利用这些工具更好地审计和调试 AI 智能体，并最终加速开发实用且稳健的安全干预措施，以应对越狱、幻觉和谄媚等问题。

我们的 交互式 Gemma Scope 2 演示已可供试用，由 Neuronpedia 提供。

Gemma Scope 2 的新内容

可解释性研究旨在理解 AI 模型的内部运作和学习到的算法。随着 AI 变得日益强大和复杂，可解释性对于构建安全可靠的 AI 至关重要。

与其前身一样，Gemma Scope 2 充当 Gemma 系列语言模型的显微镜。通过结合稀疏自编码器（SAE）和转码器，它使研究人员能够窥视模型内部，了解它们在思考什么，以及这些想法如何形成并与模型的行为相关联。反过来，这有助于更深入地研究越狱或其他与安全相关的 AI 行为，例如模型所传达的推理与其内部状态之间的差异。

虽然最初的 Gemma Scope 支持了关键安全领域的研究，例如 模型幻觉、识别模型已知的秘密 以及 训练更安全的模型，但 Gemma Scope 2 通过重大升级支持了更为宏大的研究：

• 大规模全面覆盖：我们为整个 Gemma 3 系列（最高 27B 参数）提供了一套完整的工具，这对于研究仅在规模上才出现的涌现行为至关重要，例如 此前 由 27b 规模的 C2S Scale 模型所揭示的、帮助发现了一种新的潜在癌症治疗通路的那些行为。尽管 Gemma Scope 2 并未在该模型上训练，但这是一个示例，说明这些工具可能能够理解这类涌现行为。
• 更精细的工具以解读复杂的内部行为： Gemma Scope 2 包含在我们 Gemma 3 系列模型每一层上训练的 SAE 和转码器。跳跃转码器 和 跨层转码器 使解读遍布模型的多步计算和算法变得更加容易。
• 高级训练技术：我们采用最先进的技术，尤其是套娃训练技术，它有助于 SAE 检测出更多有用的概念，并解决了在 Gemma Scope 中发现的某些缺陷。
• 聊天机器人行为分析工具：我们还提供了针对为聊天用例调优的 Gemma 3 版本的可解释性工具。这些工具能够分析复杂的多步骤行为，例如越狱、拒绝机制和思维链忠实度。