Thinking Machines 在 Hugging Face 发布 Inkling 多模态模型及 Inkling-Small

Inkling 现在有了更小的版本 🤗 Inkling-Small 由 Thinking Machines Lab 发布。我们更新了这篇帖子，加入了 性能，以及 Inkling-Small 和 Inkling-Small-NVFP4 变体的 部署配置。这里是包含所有 Inkling 模型的 合集。我们让你可以更轻松地在 Inference Endpoints 上一键部署 Inkling-Small（最高可达 160 TPS）。我们还提供了 实时语音和图像演示，你可以在其中与模型互动。

Inkling 是一个大型（1T 参数！）开放模型，原生接受图像、文本和音频输入。

TLDR；Thinking Machines 的 Inkling 已在 Hugging Face 上发布。Inkling 是一个巨大的多模态 LLM，能理解所有模态（图像、音频、文本），具有智能体能力，并支持 1M 上下文。它提供完整 BF16 和经过良好校准的 NVFP4 变体，并包含用于加速推理的推测性 MTP 层。transformers、SGLang、vLLM 和 llama.cpp 均提供首日支持。Thinking Machine Labs 还发布了 Inkling-Small，总参数 276B、激活参数 12B，并支持 MXFP8 和 NVFP4 权重，架构与 Inkling 相同。

Inkling 有何特别之处？

Inkling 是首个大型开放模型，拥有 ~1T 参数和 1M 上下文窗口，可原生接收图像、文本和音频输入，并在45 万亿 token 的文本、图像、音频和视频上训练。它专注于跨音频、图像和文本等模态的推理；并旨在通过微调进行领域适配。我们对这个模型进行了尝试，构建了一些演示并探索了其架构，我们认为它非常适合构建新一代多模态推理应用。

整体能力与架构

Inkling 是一个仅解码器的多模态混合专家模型，总参数 975B、激活参数 41B。其中涉及很多内容，让我们逐一拆解：

• 仅解码器：这意味着该架构支持因果自回归生成，就像大多数最先进的 LLM 一样。
• 多模态：该模型可以接收文本、音频和图像。
• 混合专家（MoE）：每一层内部的前馈网络是稀疏的，由于任意时刻只有 41B 参数处于激活状态，因此实现了更快的推理。该模型有 256 个专家，我们稍后会看到。

以下是该架构的快速一览。

相对注意力：Inkling 没有使用 RoPE（transformers 模型中注入位置信息的常用方法），而是使用相对注意力来编码位置信息。每个注意力层直接在注意力 logits 中学习位置。除了 key-query-values 之外，还有第四个投影，产生每个 token、每个头的相对特征 R。这个投影张量随后会用距离信息（key 与 query 向量之间的距离）进行调整，并传播到注意力模块中。

混合注意力：解码器层在全局注意力（一次性关注完整上下文长度）和滑动窗口注意力（以滑动方式关注固定上下文窗口）之间交替。该架构采用 5:1 的滑动窗口与全局注意力层模式。这种混合注意力方案提供了计算效率。最后一层使用全局注意力来帮助构建特征丰富的表示。

短卷积：该模型使用了一种独特的短一维卷积，即对隐藏状态进行 SConv。SConv 读取当前 token 和之前的 W-1 个隐藏状态，其中 W 是滑动窗口大小。其直觉是，SConv 有助于局部注意力，同时将注意力模块和 MoE 模块从局部表示中解放出来。

带共享专家汇的 MoE：在 Inkling 中，路由器对路由专家和共享专家都进行评分。Top-k 选择在 6 个专家上进行，外加 2 个始终激活的共享专家。

视觉理解：该模型包含一个简单的分层 MLP patchifier，由若干线性层组成。每一层逐步合并像素，直到最后一层为每个 patch 生成一个嵌入。

音频理解：该架构采用离散化的梅尔频谱图，其中每个音频块（100 毫秒）被转换为梅尔刻度，然后分类到精确的梅尔频谱图 bin 中。

多模态塔是相对简单的模块，不同于其他为每种模态使用单独编码器的模型。每个图像 patch 通过图像嵌入塔，音频块通过音频嵌入塔，以获得两种媒体嵌入。图像输入还包含一个额外的时间维度，用于视频处理。我们预计这一能力对下游微调有用，但我们尚未评估开箱即用的视频性能。该塔折叠 patch 网格，将一小块局部相邻 token 堆叠到通道维度中，并通过 hMLP。音频波形被转换为梅尔刻度，然后分类到离散的梅尔 bin 中。这些梅尔 bin 值被嵌入到音频嵌入塔中，然后对嵌入求和以构建最终的音频输入。

推理支持

Inkling 提供 day-0 transformers 支持，并受到 SGLang 和 vLLM 等主流推理引擎的支持。

这个模型非常庞大。bf16 检查点需要 2 TB 的 VRAM，而 nvfp4 版本需要 600 GB 的 VRAM。你可以通过 Inference Providers 等无服务器推理路由器尝试该模型，或使用 ggml 量化在 llama.cpp 中进行本地部署。

Transformers

直接使用 transformers 进行推理的最简单方法是使用 any-to-any pipeline。你可以在 Hopper 或更高版本的 GPU 上使用 16 位 "thinkingmachines/Inkling"，或在 Blackwell Nvidia GPU 上使用量化的 NVFP4 检查点 "thinkingmachines/Inkling-NVFP4"。请确保使用最新版本的 transformers（5.14.0 今天发布）（pip install -U transformers）。

from transformers import pipeline

model_id = "thinkingmachines/Inkling"
# model_id = "thinkingmachines/Inkling-NVFP4"

pipe = pipeline("any-to-any", model=model_id)

初始化 pipeline 后，你可以按如下方式传入提示。

image_url = (
    "https://huggingface.co/datasets/merve/vl-test-suite/"
    "resolve/main/pills.jpg"
)
messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": image_url,
            },
            {
                "type": "text",
                "text": "Do components in this supplement interact with each other?",
            },
        ],
    },
]
output = pipe(
    messages,
    max_new_tokens=2000,
    return_full_text=False,
    reasoning_effort="medium",
)
output[0]["generated_text"]

再低一层，你可以使用 Auto 类。对于推理，你可以使用 AutoModelForMultimodalLM 类用于模型，AutoProcessor 类用于处理器。对于不同的推理任务，tokenizer 接受一个 reasoning_effort 参数。推理强度的现有选项有 "none"、"minimal"、"low"、"medium"、"high"、"xhigh" 和 "max"。

from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "thinkingmachines/Inkling"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    dtype="auto",
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You should only answer with a number."},
    {"role": "user", "content": "What is 17 * 23?"},
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    reasoning_effort="high",
).to(model.device)

output = model.generate(**inputs, max_new_tokens=2000)
generated_tokens = output[0][inputs["input_ids"].shape[1] :]
print(processor.decode(generated_tokens, skip_special_tokens=False))

对于多模态推理，你可以使用相同的类。我们在模型卡中为每种不同模态提供了示例片段。

文本加图像推理

from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "thinkingmachines/Inkling"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    dtype="auto",
    device_map="auto",
)

image_url = (
    "https://huggingface.co/datasets/merve/vl-test-suite/"
    "resolve/main/pills.jpg"
)
messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": image_url,
            },
            {
                "type": "text",
                "text": "Do any of the components in this supplement interact?",
            },
        ],
    },
]

inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    reasoning_effort="medium",
    return_dict=True,
    return_tensors="pt",
).to(model.device)
input_len = inputs["input_ids"].shape[-1]

outputs = model.generate(**inputs, max_new_tokens=2000)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)

processor.parse_response(response)

Inkling 也接受音频输入。下面是一个示例推理片段，仍然使用相同的 AutoModelForMultimodalLM 类。

文本加音频推理

from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "thinkingmachines/Inkling"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    dtype="auto",
    device_map="auto",
)

audio_url = (
    "https://huggingface.co/datasets/merve/vl-test-suite/"
    "resolve/main/example_audio.mp3"
)
messages = [
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "Transcribe the following speech to text."},
            {
                "type": "audio",
                "audio": audio_url,
            },
        ],
    },
]

inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
).to(model.device)
input_len = inputs["input_ids"].shape[-1]

outputs = model.generate(**inputs, max_new_tokens=512)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)

processor.parse_response(response)

对于在多个节点的集群中进行更真实的并行部署，请参考下面的 Slurm 部分。

SGLang

SGLang 是 Inkling 发布时最快的部署框架之一，因为它包含了自定义模型实现。下面的启动命令将模型分片到 8 个 GPU 上，并在端口 30000 上提供 OpenAI 兼容的 API。

pip install sglang

python3 -m sglang.launch_server \
 --model-path thinkingmachine/Inkling \
 --tp-size 8 \
 --served-model-name inkling \
 --host 0.0.0.0 \
 --port 30000

将 --tp-size 与你的 GPU 数量匹配。如果需要为 KV 缓存留出更多余量，请添加 --mem-fraction-static（例如 0.85）。

vLLM

vLLM 在生产服务方面表现强劲。单个 vllm serve 命令即可从 Hub 下载权重，通过张量并行将模型分片到你的 GPU 上，并在端口 8000 上启动一个 OpenAI 兼容的服务器。你可以查看该模型的 vLLM Recipe 此处 以根据你的硬件进行定制。

# Requires nightly or vllm>=0.26 (once released)
uv pip install -U vllm --pre \
  --extra-index-url https://wheels.vllm.ai/nightly/cu130 \
  --extra-index-url https://download.pytorch.org/whl/cu130 \
  --index-strategy unsafe-best-match

vllm serve thinkingmachines/Inkling-NVFP4 \
  --trust-remote-code \
  --tokenizer-mode inkling \
  --tensor-parallel-size 8 \
  --enable-auto-tool-choice \
  --tool-call-parser inkling \
  --reasoning-parser inkling \
  --served-model-name inkling

在实践中，你可能需要多个节点和像 SLURM 这样的分发工具（见下文）。关键参数是将 --tensor-parallel-size 设置为你节点上的 GPU 数量，如果遇到 KV 缓存内存限制，使用 --max-model-len 来限制上下文窗口。

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "inkling",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

使用 Hugging Face Inference Providers 进行远程推理

你可以通过 Hugging Face 使用多个推理提供商对此模型进行推理。你可以查看所有代码片段 此处。下面你可以看到如何使用 OpenAI 客户端。

import os

from openai import OpenAI

client = OpenAI(
    base_url="https://router.huggingface.co/v1",
    api_key=os.environ["HF_TOKEN"],
)

completion = client.chat.completions.create(
    model="thinkingmachines/Inkling:auto",
    messages=[
        {
            "role": "user",
            "content": "What is the capital of France?",
        },
    ],
)

print(completion.choices[0].message)

使用 “:auto” 后缀会路由到你在设置中首选的提供商；你也可以使用 “cheapest” 或 “:fastest”。对于本次发布，我们为所有人在发布后 2 小时内承担推理费用。

注意：Inference Providers 中的音频支持仍在开发中，将很快添加。

使用 llama.cpp 和 Unsloth 进行本地推理

你可以使用 llama.cpp 在有限硬件上运行模型的量化版本。Unsloth 已将模型量化到 1 位精度，相比原始模型减少了 95% 的 VRAM 消耗。

llama serve -hf unsloth/inkling-GGUF:UD-IQ1_S

这会启动一个 OpenAI 兼容的服务器，运行在 http://localhost:8080/v1，你可以在首选工具或客户端中连接。前往那里，你可以开始与模型聊天，并设置你喜欢的 MCP，方便地传入图像或文件等等！

Llama cpp 还附带一个内置 UI，支持工具、mcp 和代理工作负载。查看在 llama 应用中以 1 位精度运行的 Inkling：

Inkling GGUF 也可以在 Unsloth Studio 中运行，使用动态 1 位 GGUF，保留约 74.2% 的 top-1% 准确率，同时体积小 86%。

用例

使用 Pi 进行代理编码

Pi 是一个极简的编码代理框架，你可以与不同的语言模型一起使用。你可以在安装后将此添加到你的 ~/.pi/agent/models.json 中，从而将 Pi 与推理引擎服务器端点（如 llama.cpp）或 Hugging Face 上的 Inference Providers 一起使用。

{
  "providers": {
    "inference-providers": {
      "baseUrl": "https://router.huggingface.co/v1",
      "api": "openai-completions",
      "apiKey": "hf_...",
      "models": [
        {
          "id": "thinkingmachines/Inkling"
        }
      ]
    }
  }
}

然后你可以在项目目录中通过调用 pi 启动 Pi，一切就绪！在这个演示中，我们给模型一个困难的数学推理问题，它使用 pi 中的工具来解决它。

Inkling 专注于广泛的多模态推理和低 token 消耗，所以试试用它处理文档或音频任务。

多 Token 预测草稿器

MTP 为模型添加了额外的层，可以一次预测多个 token，而不仅仅是下一个。在推理过程中，这些额外的层充当推测解码的“草稿器”，在不影响性能的情况下加速生成。使用 MTP，你可以获得完全相同的生成输出，生成速度成倍提升，而 VRAM 内存成本很小（由于服务草稿器）。Thinking Machines 也在本次发布中提供了 MTP 草稿器。

import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor

processor = AutoProcessor.from_pretrained("thinkingmachines/Inkling")
model = AutoModelForMultimodalLM.from_pretrained(
    "thinkingmachines/Inkling",
    dtype=torch.bfloat16,
    device_map="auto",
)

# Preprocess the inputs.
...
generated = model.generate(
    **inputs,
    max_new_tokens=1000,
    do_sample=False,
    use_mtp=True,
)
print(processor.decode(generated[0], skip_special_tokens=True))

多模态视觉

我们准备了一小套来自专家级来源和大学入学考试的推理问题。我们在截图中对带有水印的屏幕拍照，以挑战该模型。该模型在高推理努力下解决了所有问题，在最高和中等推理努力下各失败了一个，因此我们提供了模型答案的链接，供你查看模型的回答风格，并提供了模型解决每个问题所消耗的 token 数量。请注意，在这些 vibe 评估中我们没有提供系统提示，而这些推理问题通常应该在良好的系统提示下运行。Vibe 评估图像和结果位于此处。

关于 vibe 的几点说明：

• 模型没有直接回答信息图上的问题，而是先将图像上的文字转换为文本以进行 grounding。
• 提示词对节省推理 token 非常重要，例如，用一张药丸背面的图片问“这里哪些成分会相互作用？”这样模糊的问题时，模型首先需要理解我们所说的相互作用是什么意思。
• 多选题答案在帮助模型组织自身推理方面作用很大，对于开放式问题，模型相比多选题表现得更吃力，不过这是许多模型的常见问题。通常的思维链是 OCR → 特征描述 → 评估每个选项 → 回答。
• 0.7 推理努力（中等）似乎提供了良好的权衡。

多模态音频

我们对模型在一些来自 BigBenchAudio 的音频推理示例以及 GlobeAudio 的一些多语言音频示例（俄语和中文多选题，询问转录中的最后一个词）上进行了 vibe 评估。我们测试的 BigBenchAudio 示例由逻辑陈述和问题组成，这些问题要么询问形式谬误（某个论证是否能从音频中给出的上下文逻辑推导出来），要么询问物体计数（在音频中陈述多个不同物体，询问某一类物体的总数）。尽管这个基准最初是为语音到语音推理制作的，我们只是想看看这个模型的音频推理能力。对于 GlobeAudio，问题相对直接，因此我们以 0.1 的推理努力运行。我们运行了 GlobeAudio 中每种语言的第一个示例。所有测试在所有问题和推理努力下都通过，除了最低推理努力下的第二个形式谬误示例，因此我们只提供每个问题在不同推理努力下消耗的 token 数量。Vibe 评估结果和音频文件位于此处。

关于整体感受的一些说明：

• 与视觉类似，模型会先转写语音，然后再回答问题。
• 它能抵抗干扰项：在俄语测试中，尽管音频中出现了其他答案，模型仍选出了正确答案。
• 与视觉类似，通常的思维链是转写 → 描述特征 → 评估每个选项 → 作答。
• 这种努力有助于推理，而不是听辨。音频问答的成本远低于图像。

后训练

如果你想使用 Inkling 进行后训练，Thinking Machines 构建了 tinker，这是一个用于后训练开放权重模型的托管工具。他们的 cookbook 包含微调、蒸馏和强化学习的示例。

我们使用 tinker 和 OpenEnv（一个智能体强化学习环境工具）对训练好的 Inkling 进行了发布。我们使用了 ECHO 算法，该算法训练模型在没有验证器的情况下预测环境，对环境产生的 token 应用下一 token 交叉熵损失，同时照常对智能体动作进行策略学习。这教会策略一个隐式的世界模型，而无需单独的模型、教师或额外的 rollout。查看示例。

使用 Tinker 和 OpenEnv 的强化学习示例

git clone https://github.com/huggingface/OpenEnv.git
cd OpenEnv

# Add TINKER_API_KEY=... to .env, then run:
uv run --env-file .env \
  examples/echo_world_model/backends/tinker_echo_demo.py

如果你正在使用 Transformers Reinforcement Learning，我们建议在知识蒸馏设置中使用 Inkling 作为教师模型。例如，利用 Inkling 的文档理解能力来提升更小（端侧）模型的性能。在这个示例中，我们使用 transformer reinforcement learning 库和 GOLD 算法来蒸馏知识。GOLD 在这里很方便，因为它能在不同分词器之间匹配 token logits，因此你可以蒸馏到 hub 上的任何模型。

部署 Inkling 和 Inkling-Small

下面你可以找到每个 Inkling checkpoint 及其 VRAM 需求。

在集群上部署 Inkling

为了在集群上部署 Inkling，我们提供了使用 transformers API 进行服务的 SLURM 脚本，以及如何以不同模态查询端点。你可以通过更新命令将这些脚本适配到 vLLM 或 SGlang。这些脚本位于此处。

• 提交推理任务
• Python 生成脚本

在 Inference Endpoints 上部署 Inkling-Small

你可以使用 Inference Endpoints 部署 Inkling-Small NVFP4 检查点。我们提供了一个经过预测试的配置，可在 8 块 RTX PRO 6000 上部署，聚合显存达 768 GB，为 KV 缓存提供了充足空间，每小时运行费用为 22 美元（未使用时缩容至零）。要部署，请使用 Hugging Face CLI 运行 hf endpoints catalog deploy --repo thinkingmachines/Inkling-Small-NVFP4，或者前往 https://endpoints.huggingface.co/new/thinkingmachines/Inkling-Small-NVFP4。通过此设置，你可以获得 140 TPS（单用户推理，已通过连续批处理为多用户支持做好准备）

端点启动后，你可以按如下方式进行查询。

curl "YOUR_ENDPOINT_HERE" \
-X POST \
-H "Authorization: Bearer $HF_TOKEN" \
-H "Content-Type: application/json" \
-d '{
    "model": "thinkingmachines/Inkling-Small-NVFP4",
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://endpoints.hf.co/media-examples/img1.png"
                    }
                },
                {
                    "type": "text",
                    "text": "Describe this image in one sentence."
                }
            ]
        }
    ],
    "stream": true,
    "max_tokens": 100
}'

基准测试结果