MindVLM: Neural-Grounded Visual Captioning via Subject-Aware Semantic Evidence Selection

ABSTRACT

中文摘要

现有 fMRI 图像描述方法通常把 Natural Scenes Dataset（NSD）中的脑响应直接映射到 MS-COCO 文本，但被试在扫描时实际看到的是裁剪后的图像，而配套 caption 描述完整场景。作者统计发现，73,000 张图像中有 12,901 张（17.7%）存在明显语义损失，即 caption 提到的对象在裁剪刺激中已部分或完全消失。为减少这种监督错位，作者把任务改写为‘神经证据驱动的视觉描述’：先用 CLIP 式双向对比学习，将每名被试的 fMRI voxel token 与冻结 VLM 图像编码器的视觉 token 对齐；推理时计算局部脑—视觉 token 相似度，保留最受脑响应支持的图像区域，再把这些视觉 token 与统一提示词交给冻结的 LLaVA-v1.5、Qwen2.5-VL 或 Gemma3 生成文本。实验使用 NSD 的四名被试、每人约 9,000 个训练图像和 1,000 个测试图像，所有模型按被试独立训练。MindVLM 在三个 VLM 主干的大多数 caption 指标上都略高于直接输入完整图像的原始 VLM；例如 subj01 上，LLaVA 的 CIDEr 从 60.61 提高到 62.06，Qwen2.5-VL 从 46.13 提高到 47.38。作者还报告其不使用文本监督或 LLM 训练，仅在推理阶段调用冻结 VLM，并生成被试特异的视觉证据图。