跳到正文
原文
Mistral AI·· 2026-08-20精选AI 评分72

Mistral 发布 Agentic Search 检索层,FinanceBench 正确率从 26.7% 升至 86%

Agentic Search. More accurate and efficient results from your AI systems.

AI 摘要

Mistral 发布 Agentic Search,一个让模型在多步检索循环中查找、检视并验证信息的检索层,通过 Mistral Search Toolkit 提供,并内置于 Studio 和 Vibe 的 Libraries 中。

正文 · AI 翻译

Thinking

Summary

Mistral Agentic Search 在 FinanceBench 和 OfficeQA Pro 基准测试中,相比对手实现了更准确的搜索结果,同时减少了轮次、token 使用量和延迟。Agentic Search 是检索层,使 AI 系统能够在最复杂的文档中导航、阅读和验证信息。可通过 Mistral Search Toolkit 和 Libraries 使用。

Mistral Agentic Search 通过让模型搜索和浏览组织中最复杂的数据和文档,帮助企业从其 AI 系统中获得更好的结果。Agentic Search 引入了多步检索循环,用于跨数据源查找、检查和验证信息,无论数据存储在何处。Agentic Search 可通过 Mistral Search Toolkit 使用,并内置于 Libraries 中的 Studio 和 Vibe,为你提供:

  • 支持敏感的领域特定数据。Mistral 的可移植且开放的工具帮助你从数据中释放价值,而无需跨越云端或本地的隔离边界。

  • 改进的搜索结果。你的模型可以搜索和浏览数据,超越检索到的片段——深入冗长、密集的文档内部或跨多个来源。

  • 访问现有索引。Agentic Search 基于你现有的搜索索引,使用五个工具:search、open、navigate、read 和 grep。

  • 更高的准确性。基于 FinanceBench,Agentic Search 在财务文件上实现了 3 倍 正确性,从 26.7% 提升至 86%。在 OfficeQA Pro 基准测试的表格密集型多文档问题上,我们测得 +45.6 分的提升(从 6.3% 到 51.9%)。

  • 更低的延迟和 token 使用量。定向导航使 Agentic Search 将 p90 延迟降低最多 39.6%。更少的重复搜索将 token 消耗减少最多三分之一。 

数据创造竞争优势

竞争优势建立在多年的真实运营之上——你的数据、你的流程和你的领域专业知识。专有知识对你的成功至关重要,同时也高度机密,这意味着它存在于隔离边界、分段部署和自托管平台之后。它积累在财务文件、法律合同、内部资源和政府记录中——这些冗长、密集的文档是传统搜索方法无法有效导航的。 

能够持续学习和改进的智能体可以帮助你复合你的竞争优势,但这些智能体往往出于安全原因与机密数据和专有知识分离。要从 AI 中获得真正的影响,意味着将前沿推理与能够安全触达你最敏感材料的检索工具配对。 

传统 RAG 存在不足

传统的单次 RAG 检索一组固定的文本片段,并要求模型一次性给出答案。当答案出现在顶部结果之一时,这有效,但当模型必须浏览长报告、追踪引用、比较多个文档或验证底层证据时,就会失效。

这种局限性在密集、复杂的数据和文档上更为明显。回答问题所需的信息可能分散在多个文档中,或埋藏在特定的表格、脚注或条款中。基于单次 RAG 的搜索未能充分利用前沿 AI 的全部能力,也无法提供可靠答案,原因有三:

  • 无推理的检索:模型必须根据初始检索期间选定的文本块作答,即使这些文本块不完整或不相关。它无法在作答前决定需要不同的文档、其他章节或更多上下文,这限制了模型推理的效果。 

  • 文本块级别的限制:关键数据通常保存在复杂的多模态文档中。当被问及“该公司第三季度的有效税率是多少?”时,索引可能找到正确的文档,但无法打开它、定位到表格、阅读周围的上下文或验证答案。  

  • 无法迭代:许多问题需要多次检索才能得到正确答案。模型可能需要优化搜索、查看有希望的文档、追踪引用、比较多个来源、记录已查看的内容,并在首次结果不足时尝试新的路径。一次性 RAG 无法采取这些后续步骤。

使用 Agentic Search

仅使用 1953 年所有单独日历月份的已报告数值,美国国防及相关活动的这些支出数值的总和是多少(以百万名义美元计)?

轨迹 3 次工具调用(2 次搜索 → 读取)

search("national defense expenditures monthly 1953") → 逐月公报(部分年份)

search("…1953 November December 1954 to date") → 呈现 treasury_bulletin_1954_02.pdf第 15 页(表 3,1953 年全部 12 个月)

read(treasury_bulletin_1954_02.pdf, p.15) → 提取完整的表 3

1953 年月度数值

表 3,单位:百万美元

1 月2 月3 月4 月5 月6 月7 月8 月9 月10 月11 月12 月
3,6323,5013,7893,8913,7464,0563,8903,5193,7873,6473,5403,465

总和 = 44,463。

Agentic Search 的工作原理

Mistral Search Toolkit 提供开放模块,用于在云端或本地摄取、嵌入和索引关键且复杂的数据。Agentic Search 在此索引基础上构建,为模型提供五个类似常见文件系统操作的工具:

  • search 使用现有索引在整个语料库中查找相关文档。

  • open 打开特定文档。

  • navigate 移动到其中的某一页、章节或区域。

  • read 检索该位置的内容。

  • grep 在打开的文档中查找模式。

模型不再仅根据初始 top-k 结果作答,而是可以检查其发现的内容、优化搜索、打开相关文档、导航到特定章节,并在作答前阅读源材料。索引识别可能的来源;Agentic Search 决定在这些来源内部和之间检查什么。

一次性 RAG

Agentic Search

这些工具不需要微调或针对特定模型的训练。随着模型在推理和工具使用方面变得更强,检索效果无需更改基础设施即可提升。这是一个关键特性:检索质量随模型能力扩展,而不是受限于你的分块策略。

使用 Agentic Search 的场景

  • 长文档。申报文件、合同、手册、技术规范和报告,答案可能出现在特定页面或特定表格、条款、图表或脚注中。

  • 跨多个来源的问题。需要模型在得出结论前从多个文档中查找、比较或核对证据的研究。

  • 必须验证的答案。财务数据、法律条款、监管引用和运营数据,其回答可以在稳定且具体的文档位置中被引用。

  • 表格与结构化文档。财务报表、政府记录和扫描版 PDF,其含义取决于行、列、页面位置或上下文——而不仅仅是叙述性文本。

索引检索是以下场景的正确起点

  • 直接查找。简短、干净的文档,答案很可能出现在首批检索到的片段中。

  • 大批量搜索。需要返回相关段落而无需对其推理或导航的关键词或语义查找。

  • 简单、可预测的问题。答案的可能来源和位置事先已知,且额外的检索步骤不太可能改善结果的用例。

对于这些搜索,一次性 RAG 通常就足够了。当问题要求模型超越初始结果并深入调查源材料时,再添加 Agentic Search。在两种情况下,配置良好的索引仍然是正确的基础。 

更相关的结果,更快的速度

我们使用开箱即用的 Mistral Search Toolkit 技术栈,在两项行业标准评估上对 Agentic Search 进行了基准测试:默认分块、默认排序、无调优。这些结果是下限,而非上限, 意味着你可以通过针对具体用例的调优进一步提升结果质量。

在这些基准测试中,我们使用 Mistral Search Toolkit 测试了两个模型:Mistral Medium 3.5(MM 3.5)和 Z.ai GLM-5.2(GLM-5.2),展示了较小模型(MM 3.5)和较大模型(GLM-5.2)的性能。 

基准测试结果一致:agentic 循环带来了实质性的质量提升,导航工具提高了准确性,同时减少了浪费的 token、轮次和延迟。我们在第一方和第三方模型上观察到相同的性能模式,这表明 Agentic Search 与模型无关,并且搜索质量应随新模型而提升。 

FinanceBench:368 份 SEC 文件,150 个问题

FinanceBench(Islam 等,2023)测试了针对 368 份 SEC 文件(10-K / 10-Q / 8-K)的金融问答,平均每份约 147 页,总计约 53,900 页:冗长、表格密集的金融文档。答案由经过人工标注校准的 LLM 评判器评分。

financebench_-one-shot-rag-vs-agentic-search

financebench_-one-shot-rag-vs-agentic-search-glm

我们发现:

  • 仅搜索的 Agentic 循环是最大的质量杠杆。从一次性 RAG 转向仅搜索循环,MM 3.5 的准确率提升了 +47.3pp,GLM-5.2 提升了 +52.6pp——两个模型均提升约 3 倍。由于模型可以迭代搜索,它们能够从较差的初始结果中恢复、优化查询,并将索引作为主动工具使用。

  • 导航增加了准确性。添加 open、navigate、read 和 grep 再次提升了准确率(MM 3.5 为 +8.7pp,GLM-5.2 为 +6.7pp)。这意味着在复杂文档中,有针对性的深入搜索胜过反复的广泛搜索。 

  • 更好的检索工具提升了 token 和性能效率。带有 Navigation 的完整循环比仅搜索循环正确回答了更多问题,同时使用的 token 更少(MM 3.5:token 使用量减少 23.9%,GLM-5.2:减少 33.7%)。检索工具不是额外的开销——它们用精确导航取代了浪费的搜索重试。

  • 延迟在关键之处下降。在 FinanceBench 上,加入导航检索工具可改善延迟:p90 从 255s → 154s,平均延迟从 108s → 71s。总体来看,仅搜索的循环会进行重复的广泛搜索,而导航能帮助模型更快地定位证据。 

OfficeQA Pro:696 份财政部公报,133 个问题

OfficeQA Pro 是一个基于历史美国财政部公报的可验证数值基准:扫描版、表格密集的政府财政 PDF,语料库包含 696 份文档、约 89,000 页。我们报告了 133 题“pro”子集的首次通过结果。

我们发现:

  • Agentic Search 与 Agentic loop + Navigation 在更困难、可验证的基准上表现成功。OfficeQA Pro 包含数值答案、扫描版 PDF 和深层表格查找。即便在此场景下,完整的 agentic loop 也相较一次性 RAG 大幅提升准确率,GLM-5.2 达到 51.9%(+45.6pp),MM 3.5 提升 +27.1pp。

  • 导航在提升质量的同时减少浪费。使用完整循环(Agentic loop + Navigation)可将准确率提升最高 35.6%(MM 3.5 为 +7.5pp;GLM-5.2 为 +8.3pp,19.0%),同时降低 token 消耗。轮次下降最高 7.0%(MM 3.5 为 2.3%,GLM-5.2)。 

  • 基准越难,检索循环就越重要。OfficeQA Pro 围绕扫描版、表格密集文档中的数值答案构建。一次性 RAG 几乎无从下手,而 agentic loop 允许模型迭代搜索、检查证据,并带来显著的准确率提升。 

  • 工具栈对文档智能和搜索性能产生重大影响。根据 Kimi 研究,GLM-5.2 在 Claude Code harness 下于 OfficeQA Pro 上得分 41.4%,而在 Mistral harness 下为 51.9%——同一底层模型上相差 +10.5pp。 

快速开始

在文档中了解更多关于 Agentic Search 的信息。你可以通过以下任一方式在云端和本地部署中开始使用: 

  • Mistral Search Toolkit。将 Agentic Search 集成到你自己的 agent、工作流和客户部署中。

  • Libraries。在 Studio 和 Vibe 中开箱即用地使用 Agentic Search,无需自行构建检索系统。

测试 Search Toolkit 最快的方式是使用 Search Starter App。它使用默认配置为你的自有语料库创建本地索引,因此你无需成为搜索专家即可试用 Agentic Search。当你准备好配置自己的用例时,可以:

  • 设置数据摄取。为你的数据和文件类型选择解析器、分块策略、嵌入模型和提取器。

  • 调整索引与排序。管理 Vespa schema、索引行为和相关性配置。

  • 扩展检索。向搜索流水线添加查询重写、重排序或混合检索。

来源:Mistral AI · mistral.ai

00