From ‘What-If’ to ‘What-Is’: Counterfactual Thinking-Inspired Semantic Alignment for Visual Brain Decoding

ABSTRACT

中文摘要

视觉脑解码旨在从 fMRI 等神经测量中重建被试所见的视觉内容，为研究视觉信息如何在大脑中表征提供计算途径。近期的多模态表征和扩散先验提高了重建图像的真实感，但视觉上合理的结果仍可能包含错误的物体、属性或关系，因为强生成先验会补全解码表征中没有被充分指定的内容；只评估最终图像的常规重建指标也可能掩盖这些语义错误。作者提出 ConceptAlign，一种面向视觉脑解码的反事实语义对齐框架。该方法汇聚解码后的视觉 token，并将其投影到冻结的文本嵌入空间，使表征靠近真实图注，同时远离保持场景但包含细微错误的近邻反事实描述。这些反事实由大语言模型离线生成，每次只修改一个关键物体、属性或关系，因此推理阶段不需要调用大语言模型。基于间隔的目标函数学习真实刺激与看似合理但错误解释之间的细粒度语义边界。作者还建立了三层语义评估框架，覆盖基础可辨别性、反事实描述辨别和表征几何。在 Natural Scenes Dataset 上，ConceptAlign 相对 MindEye2 主干改善了重建指标、反事实语义辨别和表征对齐；匹配负样本来源消融、独立大语言模型与人工反事实，以及人类评价共同支持这种监督的有效性与稳健性，并在细粒度冲突、有限数据解码和跨被试结构上呈现有利趋势。