10岁CNN胜过前沿LLM诊断皮肤癌

我是一名皮肤科医生。我测试了 GPT-6 Astra 和 Claude Fable 5.1 在诊断皮肤癌方面的能力，发现它们比我预期的准确度要低。我将它们与一个 10 年前的 CNN 进行了比较，令我惊讶的是，发现这个 CNN 更出色。

这是一个黑色素瘤。

Clinical photograph: Invasive melanoma on the ear, under 0.8 mm thick. — **图 1。** 耳朵上的侵袭性黑色素瘤，厚度小于 0.8 毫米。两个 LLM 都称其为脂溢性角化病，并说可以排除。CNN 称其为黑色素瘤。左侧为临床照片，右侧为皮肤镜图像。图片：MILK10k，MILK 研究团队，CC BY-NC。

Dermoscopic image: Invasive melanoma on the ear, under 0.8 mm thick. — **图 1。** 耳朵上的侵袭性黑色素瘤，厚度小于 0.8 毫米。两个 LLM 都称其为脂溢性角化病，并说可以排除。CNN 称其为黑色素瘤。左侧为临床照片，右侧为皮肤镜图像。图片：MILK10k，MILK 研究团队，CC BY-NC。

我将这两张图像——一张临床照片和一张皮肤镜（皮肤显微镜）图像——展示给 GPT-6 Astra 和 Claude Fable 5.1，它们是 2026 年 10 月最强大的两个 AI 模型。两个模型都说它是一个脂溢性角化病，一种无害的疣状生长，并且患者可以被排除。然后我将它们展示给 Inception v3 的微调版本，这是一个由 Google 于 2015 年首次发布的卷积神经网络（CNN），并在公共皮肤科图像上进行了微调。CNN 根据皮肤镜视图得到了正确答案。

这是我在所有三个人工智能模型中给出的 200 个活检证实病变中的一个。CNN 为其中的 125 个（62%）命名了正确的诊断（在 6 种可能性中）。这两个前沿 LLM 分别为 84 和 85 个（42%）。一个 10 年的网络，经过大约 20 分钟的微调，在识别皮肤癌方面击败了它们。

测试#

这些病变来自 MILK10k，这是一个由国际皮肤成像合作组织于 2025 年发布的公共数据集，其中每个病变都被拍摄两次：一次临床特写和一次通过皮肤科医生使用的照明放大镜拍摄的皮肤镜图像。我随机选择了 200 个病变，所有病变均经组织病理学证实：

100 个不应排除的病变： 30 个黑色素瘤，25 个基底细胞癌，25 个鳞状细胞癌（包括鲍温病）和 20 个光化性角化病。
100 个可以安全排除的病变： 50 个良性痣（摩尔）和 50 个脂溢性角化病。

每个病变都进行了活检，包括良性病变，因此诊断更困难：一个被决定切除的痣就是一个让临床医生担忧的病变。

Clinical photograph: Basal cell carcinoma on the trunk of a 75-year-old man. Both models answered correctly. — **图 2。** 200 个测试病变中的另外三个。左侧为临床照片，右侧为皮肤镜图像。图片：MILK10k，MILK 研究团队，CC BY-NC。

Dermoscopic image: Basal cell carcinoma on the trunk of a 75-year-old man. Both models answered correctly. — **图 2。** 200 个测试病变中的另外三个。左侧为临床照片，右侧为皮肤镜图像。图片：MILK10k，MILK 研究团队，CC BY-NC。

LLM 被提供了两张图像和其他任何信息，并被要求像临床医生可能会使用它们一样，给出最可能的六种诊断之一（或“不确定”），一个置信度，一个第二选择，以及病变是否可以安全地排除，无需治疗、活检或随访。两个模型在默认设置下得到了相同的提示，并且没有模型拒绝病例。

CNN 并非刻意追求最先进。我使用了在日常生活照片上预训练的 Inception v3，然后在单个 H100 GPU 上对来自 ISIC Archive 的 68,011 张皮肤镜检查和临床图像进行微调。这 200 个测试病变，以及所有相同病变或患者的其他照片，在训练前都从其数据（包括验证集）中移除，因此它从未见过它们，并且它们没有被用来选择模型或设定其阈值。它对每个病变的两张图像进行评分，主要结合皮肤镜检查图像的权重，并从相同的六种诊断中选择。

您可以自己尝试 CNN。值得注意的是，该模型小到可以在手机浏览器中完全运行 WebGPU。没有任何内容被上传，其随机样本按钮是从这 200 个病变中抽取的.

诊断：62% 对比 42%#

图 3。 两个 LLM 和 CNN 的正确首次诊断选择，它们都从相同的六种诊断中选择。标签显示正确答案占具有该组织学的病变数量。

CNN 总体上和大多数诊断上更常正确。允许第二次选择，它达到了 173 个中的 200 个，对比 134 和 138。它命名了 30 个黑色素瘤中的 13 个，对比 8 和 11。最大的差距在于无害病变：它识别了 50 个痣中的 37 个和 50 个脂溢性角化病中的 26 个，对比 GPT-6 Astra 的 16 和 13，以及 Claude Fable 5.1 的 33 和 6。它在基底细胞癌上差一点达到 GPT-6 Astra，并且在光化性角化病上都落后于两个 LLM。

模型也以不同的方式失败。每个 LLM 都有最喜欢的答案：GPT-6 Astra 将 75 个病变称为基底细胞癌，其中 25 个是，包括 30 个黑色素瘤中的 14 个，Claude Fable 5.1 将 53 个病变称为光化性角化病，其中 20 个是。CNN 在黑色素瘤上的错误则相反：在它搞错的 17 个病变中，它将 8 个称为痣，6 个称为脂溢性角化病。

一个表格中的结果#

	GPT-6 Astra	Claude Fable 5.1	CNN (Inception v3)
正确诊断（200 个中的）	84 (42%)	85 (42%)	125 (62%)
正确在首次或第二次选择中	134	138	173
作为首选的黑色素瘤（30 个中的）	8	11	13
保留的不安全病变（100 个中的）	97	96	77 在其预设阈值；98 或 99 当匹配时
释放的安全病变（100 个中的）	32	22	76 在其预设阈值
释放的黑色素瘤（30 个中的）	3	4	18 在其预设阈值；2 或 1 当匹配时

注意事项#

小数字。 200 个病变足以显示模式，但不足以排名接近的结果，30 个黑色素瘤对最重要的数字提供了广泛的不确定性。每个 LLM 案例只运行一次；答案在运行之间变化。
难病例。 每个病变都进行了活检。在存档的普通图像上，CNN 分离出应该和不应该释放的病变要远好得多（ROC 曲线下面积 0.96，对比这里的 0.86）。
污染。 MILK10k 自 2025 年起就是公开的，所以 LLMs 可能在训练中看到了它；如果有什么，那会帮助它们。CNN 当然没有。
非最先进。 Inception v3 是一个基线。最先进的皮肤癌诊断 AI 使用在更多数据上训练的图像转换器集成，并且基于它们的监管产品性能要好得多。

以患者身份询问#

以患者身份询问，仅使用临床照片和问题“我需要看医生吗？”，两个 LLM 在几乎所有情况下都建议去看医生，包括无害病变：对于另外 100 个经活检证实的黑色素瘤，分别是 99 和 98 个。

结论#

一个小型、老旧、专业的网络使用过时的架构，识别皮肤病变远比两个前沿LLM要好。

自行运行#

案例、提示、每个LLM的回复和评分代码都在一个下载包里，CNN在这里。

我设计了这项测试并制定了临床裁决。分析和初稿是用 Claude Code 生成的，这是 Anthropic 的编码工具，它在 Claude 模型上运行；测试中的两个 LLM 之一也是 Anthropic 的。评分是针对组织学的脚本进行的。

图片来自 MILK10k 数据集（MILK 研究团队，国际皮肤成像合作组织），根据 CC BY-NC 许可证使用。

Dr Magnus Lynch 是 Guys 医院皮肤科顾问和 Mohs 外科医生，也是伦敦国王学院的名誉读者（相当于副教授）。他的临床工作涵盖皮肤癌、Mohs 手术和面部重建手术、激光；他的研究涉及皮肤癌和疤痕的细胞生物学以及 AI 在皮肤科的应用。完整简介。