魏茨曼研究所 Brain-IT 模型凭 fMRI 脑扫描重建人眼所见图像

据媒体当地时间周六报道，以色列魏茨曼科学研究所教授Michal Irani团队近期开发出名为Brain-IT的AI模型。该模型能够通过分析功能性磁共振成像（fMRI）数据，重建受试者观看图像时的视觉画面。

来源：魏茨曼科学研究所官方新闻稿

据官方新闻稿，该模型能以极高的准确度还原受试者所看到的画面。

训练这类AI模型，需要大量“图片+脑扫描”配对数据，即记录人在观看每张图片时的大脑活动。

但这类数据采集起来极其耗时费力。研究使用的公开“自然场景数据集”，是目前该领域规模最大的数据集，但也仅收录了8名受试者的数据。每人在扫描仪中参加了30至40次扫描，累计观看数千张图像，共形成约7.3万组配对数据。

为了破解数据不足的难题，团队训练了一个“反向翻译”模型：根据图片预测人看到它时的大脑活动，从而大幅扩充训练数据。

Irani表示，（此前）部分模型已能根据大脑活动实现较高水平的图像重建，但常出现构图和色彩方面的基础性错误。

她指出：“我们开发的新模型在还原图像内容和细节方面均优于这些模型。”

“此外，其他模型需要数十小时的脑部扫描数据，才能学会‘读取’一个新的人，而我们的模型只需一小时。”

左为受试者所见原图，右为Brain-IT重建图，来源：魏茨曼科学研究所官方新闻稿

目前该研究使用的是静态图像。Irani的实验室正致力于将此类“读心”方法拓展至听觉信息解码，并最终拓展至视频。

Irani在一份声明中表示：“尤其具有挑战性的是解码视频，例如做梦时的画面。视频画面每秒会变化数十次，而fMRI完成一次扫描就需要约两秒。如果我们能克服所有这些障碍，未来或许能够读取梦境。”

媒体报道指出，科学家多年来一直致力于相关技术研究。2017年，国际法学期刊《法律与生物科学杂志》（Journal of Law and the Biosciences）刊发的一篇论文，探讨了借助神经成像技术实现“基于大脑的读心术”的可能性。

该论文指出，这类技术可用于法庭，对被告、囚犯及候选陪审员进行测谎评估，从而完善司法体系。论文同时提醒，这类技术也可能被用于不道德的强制性用途。

美国普林斯顿大学心理学与神经科学教授Kenneth Norman认为，近年来fMRI设备的信号数据质量有所提升，人类分析这些数据的方法也在改进，二者共同使此类技术成为可能。

据报道，2022年，Norman在与美国心理学会（APA）的一次对谈中表示，此类技术有望帮助抑郁症或焦虑症患者。

他解释称，治疗师可借助神经反馈，让患者意识到自己的思维已滑向负面循环，并引导其尝试控制这些思维模式。

目前，部分神经科学家对Brain-IT模型的能力给予高度评价，认为其有望用于神经系统疾病患者的治疗。但也有人担忧，这项技术可能遭到滥用，被用来强行获取个人的思想信息。