MindVLM: Neural-Grounded Visual Captioning via Subject-Aware Semantic Evidence Selection

ABSTRACT

中文摘要

将视觉脑活动翻译为自然语言，为理解人类认知与神经语义表征提供了有力窗口。以往多数脑图像描述方法依赖配对监督，把 fMRI 信号投影到语言空间。然而，广泛使用的 Natural Scenes Dataset（NSD）仅基于图像—fMRI 配对构建，现有方法却把 MS-COCO 描述作为间接文本监督。关键问题是，在 fMRI 采集期间，参与者只观察裁剪后的图像区域，而关联的 MS-COCO 描述却对应完整场景。这个不匹配在神经表征与文本监督之间造成根本差距，给基于 NSD 的脑图像描述引入固有的语义损失。为缓解这一问题，我们将脑图像描述重新定义为神经落地的视觉描述，使语言直接根据视觉落地的神经证据生成，而非依赖文本监督。我们提出 MindVLM，把 fMRI 映射到具有被试感知能力的视觉 token，并利用冻结视觉语言模型（VLM）产生可解释、个性化描述。MindVLM 不采用逐点回归，而重点提取脑活动中语义相关的视觉线索，自然适应部分可观察性与个体差异。NSD 上的大量实验表明，在 LLaVA-v1.5、Qwen2.5-VL 和 Gemma3 等多个 VLM 主干上，MindVLM 持续改善描述质量，且超过模型内在先验。尽管训练既不需要文本监督也不需要 LLM，并采用与传统描述方法不同的图像落地推理范式，MindVLM 仍与监督方法具有竞争力，提示被试特异神经落地为忠实脑到语言生成提供了高效、可扩展、可解释的路径。