EVLF-FM医学基础模型

DRUG ONE 医学基础模型在疾病诊断和医学影像分析中展现出广泛应用潜力，但现有模型大多针对特定影像模态开发，缺乏跨临床任务的通用能力，同时难以提供透明、可验证的诊断依据，限制了其临床应用。针对这些问题，研究人员开发了可解释医学视觉语言基础模型EVLF-FM（Explainable Vision Language Foundation Model for Medicine），将多模态影像理解、疾病诊断、医学视觉问答和像素级病灶定位整合于统一框架。

模型开发与测试涉及来自18个全球数据集的超过130万份样本，覆盖10种医学影像模态和皮肤科、肝病学、眼科、病理学、呼吸医学及放射学六大临床领域，并使用另外17个独立数据集中的13,443份样本进行外部验证。在内部疾病诊断评估中，EVLF-FM取得0.895的平均准确率，优于多种通用及专科模型。在医学视觉定位任务中，其跨九种影像模态的Acc@0.5达到0.842。模型结合监督微调和视觉强化微调，使诊断结果能够关联具体影像证据，并生成具有临床意义的解释。

由临床医生开展的S.C.O.R.E.人工评价获得4.25分（满分5分），显示出较好的可解释性。研究表明，EVLF-FM有望为跨专科医学影像分析和临床辅助决策提供通用基础，但仍需要前瞻性临床研究验证其安全性和实际效益。近年来，人工智能在医学领域的应用逐渐从针对单一疾病的监督学习模型转向能够处理多种临床任务的基础模型。传统医学影像算法通常依赖特定疾病标签进行训练，在既定场景下能够获得较高准确率，但对不同影像类型、疾病类别和临床环境的适应能力有限。

相比之下，基础模型可以通过大规模预训练学习更加通用的医学特征，并利用少量标注数据适配不同任务，为构建通用医学人工智能系统创造了条件。然而，现有医学基础模型仍面临两方面问题。一方面，许多模型主要针对眼底图像、病理切片或放射影像等单一模态开发，虽然在专科任务中表现突出，却难以覆盖复杂的临床工作流程。另一方面，多模态视觉语言模型虽然能够理解医学图像并生成自然语言回答，但在精细病灶定位和空间结构识别方面往往不及专门设计的分割模型。可解释性是另一个重要挑战。

传统医学影像算法通常仅输出疾病类别或风险评分，即使使用显著性热图等方法，也难以完整说明模型为何作出特定判断。视觉语言模型虽然可以生成看似合理的诊断解释，但这些文字未必真实反映模型所依据的影像证据，仍可能出现缺乏依据的推断。因此，临床应用不仅要求模型具备准确的疾病识别能力，还要求其能够指出相关病灶区域，并通过可核查的影像特征解释诊断结果。研究人员由此提出EVLF-FM，希望在统一模型中兼顾广泛的医学影像处理能力、像素级定位精度和细粒度的诊断解释，为可信赖的临床人工智能提供技术基础。

研究人员构建了融合通用视觉编码器、疾病级编码器和像素级编码器的多模态视觉语言架构，分别提取整体影像特征、疾病相关语义及局部空间信息，并通过连接模块输入语言模型生成诊断、问答和定位结果。模型采用两阶段训练策略：首先通过监督微调学习医学诊断和视觉定位，并利用经过筛选的临床推理数据建立影像特征与文字解释之间的联系；随后采用基于组相对策略优化（GRPO）的视觉强化微调，结合诊断正确性、病灶定位精度及临床解释一致性设计奖励机制，提高模型输出的准确性与可解释性。

研究通过内部基准测试、独立外部数据集、零样本及少样本迁移实验，并结合医生人工评分、人口学亚组分析和消融实验评估模型性能。研究人员首先构建了统一的医学视觉语言框架，使模型能够在不同影像模态之间共享表征，并同时完成疾病诊断、医学视觉问答和病灶定位三个主要任务。 EVLF-FM采用多层次视觉特征提取机制。通用视觉编码器负责获取影像整体信息，疾病级编码器重点提取与疾病分类相关的特征，像素级编码器则保留局部空间信息，使模型能够在回答问题或判断疾病时识别具体的异常区域。

不同层次的视觉信息通过连接模块与语言模型整合，从而建立影像、疾病类别和文字解释之间的联系。为增强模型的临床解释能力，研究人员进一步设计了监督微调与强化微调相结合的训练流程。监督阶段利用临床推理样本，使模型学习从影像观察到诊断判断的表达方式；强化阶段则通过可验证的诊断和定位结果，以及临床解释与参考内容的一致性，对模型输出进行优化。这一设计使EVLF-FM不仅能够回答影像中是否存在某种疾病，还能够描述异常影像特征，并定位与诊断相关的区域。

研究人员在内部医学影像基准数据集上评估EVLF-FM的疾病诊断性能，并与LLaVA、Qwen、InternVL等通用视觉语言模型，以及多种专科基础模型和传统深度学习模型进行比较。结果显示，EVLF-FM在多种医学影像任务中取得较为稳定的表现，整体平均诊断准确率达到0.895，高于所有参与比较的通用和专科模型。在BCN20000皮肤镜数据集、BUSI乳腺超声数据集及OAEFD-OCT眼科数据集上，其准确率分别达到0.949、0.932和0.990。

在MedMNIST基准测试中，EVLF-FM的平均准确率和F1分数分别达到0.851和0.808，整体优于其他模型。研究人员还对胸部X射线影像开展了疾病类别层面的分析。 EVLF-FM在NIH ChestX-ray14、VinDr-CXR和外部AIMx数据集上的平均F1分数分别达到0.545、0.629和0.668。总体而言，EVLF-FM在不同器官、疾病类别和影像模态之间表现出较好的综合诊断能力，减少了针对每种医学影像任务分别构建专用模型的需求。

研究人员进一步评估了EVLF-FM对医学图像与自然语言问题的联合理解能力。在VQA-RAD、SLAKE和Path-VQA三个医学视觉问答数据集上，模型在封闭式问题中的准确率均保持在约90%的水平。对于需要生成自由文本答案的开放式问题，EVLF-FM在VQA-RAD和SLAKE数据集上的召回率均超过80%，表现优于其他参与比较的模型。在视觉定位任务中，研究人员使用BiomedParse和VinDr-CXR数据集，评估模型识别病灶或解剖结构所在区域的能力。

测试覆盖MRI、病理切片、X射线、CT、OCT、眼底摄影、超声、皮肤镜及内镜九种影像模态。 EVLF-FM的平均Acc@0.5达到0.842，平均交并比（mIoU）达到0.741，均高于比较模型的0.755和0.656。在眼底摄影和内镜影像中，定位性能改善尤其明显，说明同时保留疾病语义和像素级空间信息，有助于提高病灶区域识别的准确性。研究人员进一步选取12个独立外部诊断数据集，并与多种医学视觉语言模型比较零样本和少样本性能。

在零样本诊断条件下，EVLF-FM在8个数据集上获得最高的准确率和F1分数，包括COVID-19相关CT影像、肺炎胸部X射线、眼底图像及OCT等任务。其中，在HRCTCov19数据集上的准确率达到0.972，在CXR-Pneumonia数据集上达到0.894。研究人员还在Med-GRIT-270k外部定位数据集上进行测试。 EVLF-FM在零样本条件下取得0.360的平均Acc@0.5，高于MedGround的0.317；经过少样本微调后进一步提升至0.545，显示出较好的跨数据集定位能力。

研究人员邀请12名医生参与人工评估，其中包括4名初级医生和8名来自放射学、病理学及眼科学领域的专科医生。结果显示，EVLF-FM总体平均评分为4.25，其中客观性评分最高，达到4.36。不同影像模态中，OCT获得最高的综合评分4.73，说明模型在