TII 发布 Falcon Perception 与 Falcon OCR 模型

TL;DR — Falcon Perception 是一个 0.6B 参数的早期融合 Transformer，用于基于自然语言提示的开放词汇定位与分割。该模型使用混合注意力掩码，在一个序列中处理图像块 + 文本，并通过小型结构化 token 接口和轻量输出头生成可变数量的实例。在 SA-Co 上，Falcon Perception 达到 68.0 Macro-F1（对比 SAM 3 的 62.3），主要剩余差距在于存在性校准（MCC 0.64 对比 0.82）。我们还推出了 PBench，这是一个诊断性基准，按能力（属性、OCR 引导消歧、空间约束、关系）以及密集长上下文拥挤场景来细分性能。

我们还发布了 Falcon OCR，这是一个 0.3B 参数的模型，在 olmOCR 基准和 OmniDocBench 上分别达到 80.3 和 88.6 分，同时拥有所有开源 OCR 模型中最高的吞吐量。

本文是一篇简短、实用的总结，介绍我们构建了什么、为什么这样构建，以及在此过程中学到了什么。

问题：为什么感知系统最终会变成流水线？

许多开放词汇感知系统被构建为模块化流水线：一个（通常是冻结的）视觉骨干提取特征，一个单独的融合/解码阶段将其与语言结合，其他组件负责匹配和后处理。这类设计在许多场景下效果良好，但存在权衡：难以干净地扩展，难以将改进归因到正确的组件，并且随着我们为每种失败模式添加新修复而容易积累复杂性。

我们问了一个更简单的问题：如果我们选择正确的注意力模式、输出接口和训练信号，单个早期融合 Transformer 骨干能否同时处理感知和语言建模？

在我们的实验中，答案大体上是肯定的。本文的其余部分描述了主要设计选择及其背后的证据。

架构：早期融合、混合注意力与高效密集接口

单个自回归 Transformer 处理由图像块、文本和任务 token 组成的统一序列。 模型按固定顺序预测对象属性：<coord> → <size> → <seg>。 边界框坐标和尺寸通过专用头解码，并作为傅里叶特征重新注入。 高分辨率分割掩码通过 <seg> token 与上采样图像特征之间的点积生成。

一个骨干，两种行为

其核心是，Falcon Perception 是一个密集 Transformer，从第一层起就在共享参数空间中处理图像块和文本 token。我们没有采用单独的视觉骨干后接晚期融合解码器，而是保留单个骨干，并依靠掩码和轻量输出接口使密集预测问题变得可处理。

图像和文本具有不同的结构：像素是二维的，受益于双向上下文，而预测接口本质上是顺序的。我们通过混合注意力掩码来解决这个问题：

• 图像 token 双向关注所有其他图像 token，构建全局视觉上下文（就像视觉编码器那样）。
• 文本和任务 token会以因果方式关注它们之前的所有内容——完整的视觉前缀加上前面的文本。

这使得同一个主干网络在图像 token 上可以像双向视觉编码器一样工作，同时仍然支持对任务 token 进行自回归预测。

感知链：面向密集输出的由粗到细监督

密集感知不是一个固定大小的预测问题：一张图像可能包含零个实例，也可能包含数百个。自回归生成提供了一个干净的变长接口，但完全自回归的密集生成（例如逐 token 生成多边形或高分辨率掩码）很快就会变得昂贵。

我们使用一个小型结构化接口，感知链，它将每个实例分解为三个步骤：

<coord> → <size> → <seg>

1. 坐标 token：模型首先预测实例的中心——解决它谈论的是哪个对象。
2. 尺寸 token：然后是空间范围——解决它有多大。
3. 分割 token：最后，一个单一的嵌入，当它与上采样后的图像特征做点积时，会生成全分辨率的二值掩码。

这个顺序是刻意安排的。先确定几何信息可以减少歧义（“哪个实例？”），并使掩码预测步骤更接近于在已确定对象条件下的像素细化。

专用头，最小开销

主干网络是共享的，而解码使用针对输出类型定制的轻量级头：

• 坐标和尺寸头使用傅里叶特征编码：通过随机高斯投影将连续坐标映射到高维正弦空间。这克服了神经网络的频谱偏差，比仅使用离散分箱产生更精确的定位。解码后的坐标会作为后续 token 的条件重新注入序列。

• 分割头计算 <seg> token 的隐藏状态与内容感知上采样图像特征之间的点积。由于 <seg> token 是在几何信息之后生成的，并且可以访问早期融合的视觉上下文，我们可以避免基于解码器的实例分割训练中经常出现的单独掩码查询机制和匈牙利匹配。

PBench：一个旨在隔离缺失内容的基准

现有的指代表达式基准（如 RefCOCO）已经饱和——模型经常达到 90% 以上——并且它们混淆了哪里出了问题。模型失败是因为它无法读取文本？无法理解空间关系？无法处理人群？

我们引入了 PBench，一个诊断性基准，它根据所需的主要能力对样本进行分类：

每个样本都针对一项主导能力：OCR 提示避免空间限定词，空间提示避免图像内文字消歧。这产生的是能力画像，而非单一的不透明分数，也更容易决定下一步该投入哪里（数据、训练课程，还是后训练）。

训练：蒸馏、大规模数据与三阶段配方

多教师蒸馏

Falcon Perception 并非从随机权重开始训练（在我们的消融实验中，这对分割并不稳定），而是通过多教师蒸馏进行初始化。两个强大的视觉教师提供了互补的信号：

• DINOv3（ViT-H）：对分割至关重要的强局部特征
• SigLIP2：用于开放词汇理解的语言对齐特征

蒸馏初始化在 ImageNet-1k 上达到 74.25% 的零样本准确率，在 Pascal VOC 上达到 85.11% 的线性探测 mIoU，为感知专项训练之前提供了强大的视觉基础。

数据：5400 万张图像、1.95 亿条正样本表达、4.88 亿条难负样本

我们通过多阶段流水线构建训练集：

1. 层次聚类：通过 DINOv3 嵌入对网络抓取图像进行聚类，以确保概念覆盖均匀。
2. VLM 驱动的列举：为每张图像生成密集的对象描述，并按 PBench 复杂度级别分类（60% 基础，40% 进阶）。
3. 负样本挖掘：生成语义、视觉和细粒度难负样本，以对抗幻觉。
4. 集成共识 —— SAM 3、Qwen3-VL-30B 和 Moondream3 必须一致（IoU > 0.8）才自动接受。
5. 人工验证 —— 存在分歧的样本交给标注员，从而找回那些令自动化系统困惑的难样本。

我们严格保持正负样本 1:1 的比例。这使存在性校准成为首要目标：模型应能可靠地说“不存在”，而不只是在有信心时才画出掩码。

三个阶段（总计 700 GT）

阶段 1 —— 上下文列举（450 GT）：模型学习自回归地列举场景清单——预测文本表达及其位置。查询之间的完全因果注意力使模型能够学习对象共现（“叉子，然后刀，然后盘子”）。这构建了广泛的场景理解。

阶段 2 —— 任务对齐（225 GT）：修改注意力掩码，使查询之间不再能相互看到，从而模拟推理时的独立查询。文本 token 上的损失被掩蔽，将梯度信号完全集中在存在性分类和定位上。此阶段从“场景理解”过渡到“回答这个具体问题”。

阶段 3 —— 长上下文微调（10 GT）：一个短阶段，将掩码上限提高到每个表达 600，并使用最小的恒定学习率。这使模型适应极端人群密度，同时不遗忘早期能力。

通过消融实验验证的关键设计选择：

• Muon 优化器用于专用头（对比 AdamW）——在 SA-Co 检测上提升 +4.8 分
• 实例的光栅顺序（对比随机/按大小）——在 SA-Co 上比随机顺序提升 +10 分
• Gram 特征正则化——防止偏离蒸馏特征，使分割提升 +1.5 分
• 全局损失归一化跨 rank —— 修正 FSDP 中变长打包序列带来的偏差

结果

SA-Co：同类最佳掩码质量

在 SA-Co 开放词汇分割基准上，Falcon Perception（0.6B 参数）达到 68.0 Macro-F1，而 SAM 3 为 62.3，在属性密集（+8.2）、食品与饮料（+12.2）和运动器材（+4.0）等子集上提升显著。同时，Falcon Perception 在存在性校准上落后于 SAM 3（MCC：0.64 对 0.82），这是目前最明确的待改进方向。

以下是一个示例输出 —— 提示词 "Falcon" 生成了精确的实例掩码：

Falcon Perception 在指代表达式上也表现良好，能够正确分割视频每一帧中带黑色面包胚的汉堡：

PBench：随提示复杂度扩展

这正是早期融合设计展现出最大差异之处：

在简单物体上，差距不大。随着提示词变得更加组合化——需要 OCR 引导消歧、空间约束或关系绑定——差距随之扩大。

在我们的 PBench Dense 子集中，Falcon Perception（0.6B）大幅优于通用 VLM 基线（例如，在我们的评估设置中，Qwen3-VL-30B 为 72.6 对 8.9），并在空间和关系层级上达到或超过 8B 模型。

定性结果：OCR、空间、关系与密集

随着提示词变得更加组合化——需要 OCR 引导消歧、空间约束、关系绑定，或扩展到数百个实例——早期融合的优势在视觉上变得清晰可见：

• OCR 引导定位（第 2 级）：当区分信号是写在物体上的文字时，Falcon Perception 能正确读取，而 SAM 3 无法区分。
• 空间理解（第 3 级）：当提示词指定空间关系时，Falcon Perception 会形成连贯的 2D 场景图。
• 关系推理（第 4 级）：当目标通过交互而非外观来定义时，Falcon Perception 能理解场景图。
• 密集场景：扩展到数百个实例：当场景极其拥挤时，自回归接口尤为有用，此时固定查询解码器可能触及实际限制。

第 2 级 —— OCR 引导定位：Falcon Perception 读取物体上的文字以进行消歧；SAM 3 无法做到。

"168 wine bottles"：Falcon Perception 识别出标有 "168" 的瓶子， 而 SAM 3 高亮了每一个瓶子。"Honolulu direction sign"：Falcon 读取文字以找到正确的标志。

第 3 级 —— 空间理解：Falcon Perception 能解析空间约束；SAM 3 返回误报。

"Lower meat skewer on left grill"、"black car to the right of red car at bottom"、 "Belgian flag on the left" —— Falcon Perception 根据空间约束解析出正确的实例。 SAM 3 对多个候选预测出误报。

第 4 级 —— 关系推理：Falcon Perception 理解交互；SAM 3 忽略关系约束。

"Pastry next to brown round bread"、"person using phone"、 "person holding helmet in hand" —— Falcon Perception 识别出正在交互的实例。 SAM 3 高亮了该物体类别的所有实例，忽略了关系约束。

密集场景：Falcon Perception 可扩展到数百个实例；SAM 3 的解码器会耗尽查询 token。

“雪雁”、“鸽子”、“彩色罐装饮料”——Falcon Perception 以自回归方式 分割数百个实例。SAM 3 的固定大小解码器在超过约 200 个实例后会耗尽查询 token。

Falcon OCR：将早期融合扩展到文档理解

现代 OCR 早已不再局限于从干净扫描件中提取文本。如今的系统必须一次性处理多栏布局、数学公式、表格、图表和多语言内容。大多数有竞争力的 OCR VLM 都采用一套熟悉的方案来应对：一个视觉编码器馈入一个单独的文本解码器，再加上任务特定的粘合模块。这些系统能工作，但往往规模很大（1B–3B+ 参数）。

我们走了另一条路：复用 Falcon Perception 中相同的早期融合密集 Transformer，但从头训练一个更小的 0.3B 参数变体，专门用于 OCR。结果就是 Falcon OCR——一个单一骨干网络，在共享参数空间中处理图像 patch 和文本 token，并使用相同的混合注意力掩码（图像 token 为双向，文本 token 为因果），通过提示而非额外模块来切换任务。

我们从头训练（没有多教师蒸馏），因为 OCR 所需的视觉特征——细粒度字形识别、笔画级区分——与对分割有用的对象级特征有很大不同。从头开始可以让骨干网络从零构建文本优化的表示。

训练

我们在一个精心整理的英语混合数据上训练，涵盖三个核心任务：通用文档文本解析（数字 PDF、旧扫描件、打字文档）、数学和科学公式识别，以及表格结构识别。该混合数据还包括手写、真实场景文本，以及由渲染的 LaTeX 和 HTML 源生成的合成样本。训练目标是对结构化文本输出进行纯下一 token 预测。

训练分两个阶段进行：一个较长的预训练阶段，使用恒定学习率，模型在此阶段学习所有元素类型的核心 OCR 能力；随后是一个较短的余弦衰减微调阶段，学习率退火至接近零。

基准测试结果

我们在 olmOCR（跨多样输入的二元正确性检查）和 OmniDocBench（整页解析的连续指标）上评估。所有对比模型都显著更大和/或使用专有基础设施。在 olmOCR 上，Falcon OCR 仅以 0.3B 参数达到 80.3%，与顶级系统相差 1.7 分，并在多栏（87.1%）和表格（90.3%）上领先所有模型。在 OmniDocBench 上，它总体得分为 88.64，领先于 DeepSeek OCR v2、GPT 5.2 和 Mistral OCR 3。

服务吞吐量

在 0.3B 参数下，Falcon OCR 大约比 0.9B 级 OCR VLM 小 3 倍，这直接转化为更高的服务吞吐量。在单张 A100-80GB 上使用 vLLM 在高并发下测得：

紧凑的体积和 vLLM 集成（连续批处理、PagedAttention、优化的 CUDA 内核）使其适用于需要处理数百万页的大规模文档数字化。

我们在结果中看到的内容

更广泛地说，这些结果表明，早期融合的单栈 Transformer 是 OCR 中“视觉编码器加文本解码器”方案的一个可行替代方案。一个骨干网络、共享参数空间、一个解码接口，以及更好的数据和训练信号，而不是越来越复杂的流水线。我们希望这能鼓励更多在这个方向上的工作。

定性示例

Falcon OCR 处理在具有挑战性的真实世界条件下拍摄的图像，这些图像具有不同的光照、多样的文本语义（数学公式、结构化表格、手写笔记）以及复杂的文档布局，以生成结构化文本输出。

点击下方每个类别以展开。

手写和真实世界图像：在不利条件下准确转录手写文本和野外拍摄内容。

Falcon OCR 从手写文档和具有可变光照、方向和内容复杂性的真实世界照片中提取文本。

表格提取：忠实再现不同格式下的表格结构和单元格内容。

Falcon OCR 从不同格式和复杂性的表格中准确再现单元格条目和结构布局。

数学公式：准确识别不同符号复杂度级别的方程。

Falcon OCR 正确转录从简单方程到具有嵌套运算符的多行推导的数学表达式。

复杂文档布局：从多栏、混合内容文档中忠实提取文本。

Falcon OCR 在从具有多栏布局、图表和脚注的文档中提取文本时，保留阅读顺序和结构保真度。

推理：快速、实用且开放

该发布包含一个基于 PyTorch 的 FlexAttention 构建的推理栈，这使得表达自定义注意力模式并高效服务打包的可变长度序列变得实用。

分页推理引擎

• 分页 KV 缓存，带有虚拟页表（不会因填充而浪费内存）
• 连续批处理：新序列在生成中途进入，完成的序列立即释放页面
• CUDA 图捕获用于解码循环
• 后台分词与 GPU 计算重叠
• HR 特征缓存：带有固定内存缓冲区的 LRU 缓存，用于上采样图像特征的异步 GPU-CPU 传输——对同一图像的后续查询跳过昂贵的上采样步骤

在我们 H100 上的设置中，典型延迟大约为 ~100ms 预填充、~200ms 上采样（如果缓存则为 0ms），以及对于少量实例 ~50ms 解码。（这些数字取决于分辨率、序列长度和预测实例的数量。）

Falcon-OCR 的 Docker 和 MLX 集成

对于 Falcon-OCR 模型，我们还提供了一个 vLLM docker 服务器用于快速部署，以及 MLX 集成用于 Apple-Silicon

请查看 github 仓库了解详情。

更大的图景：感知的“苦涩教训”

Falcon Perception 有意保持极简：一个骨干网络、一个目标族，仅在输出连续且密集的地方使用小型头部。其基本假设是，大部分收益应来自数据、算力和训练信号，而不是不断用专用模块扩展流水线。

该架构不阻碍任何明显的扩展路径：增加更多图像和更难的提示以获得更好的定位，混入纯文本数据以获得更好的语言能力，增加上下文长度以应对更密集的场景。它仍然只是一个序列模型。

Falcon Perception 由阿联酋阿布扎比技术创新研究院（TII）的 Falcon Vision 团队开发。

引用

如果您使用 Falcon-Perception，请引用

@article{bevli2026falcon,
  title   = {Falcon Perception},
  author  = {Bevli, Aviraj and Chaybouti, Sofian and Dahou, Yasser and Hacid, Hakim and Huynh, Ngoc Dung and Le Khac, Phuc H. and Narayan, Sanath and Para, Wamiq Reyaz and Singh, Ankit},
  journal = {arXiv preprint arXiv:2603.27365},
  year    = {2026},
  url     = {https://arxiv.org/abs/2603.27365}
}