Seeing Through the Brain: New Insights from Decoding Visual Stimuli with fMRI

ABSTRACT

中文摘要

理解大脑如何编码视觉信息，是神经科学与机器学习的核心挑战。一种有前景的方法是从功能磁共振成像信号重建视觉刺激，即图像。这包含两个阶段：将 fMRI 信号变换到潜空间，再用预训练生成模型从该空间重建图像。重建质量取决于潜空间与神经活动结构的相似程度，以及生成模型从该空间生成图像的能力。然而，哪类潜空间最支持这种变换，以及应如何组织它才能有效表达视觉刺激，仍不清楚。我们提出两项发现：第一，fMRI 信号与语言模型文本空间的相似性，高于与视觉空间或联合图文空间的相似性。第二，文本表征与生成模型应适配视觉刺激的组合性质，包括物体、详细属性与相互关系。基于这些认识，我们提出 PRISM，将 fMRI 信号投影到结构化文本空间，作为视觉刺激重建的中间表征。它包含以组合个体物体来降低物体检测错误的物体中心扩散模块，以及自动寻找最符合神经活动的关键属性和关系的搜索模块。真实数据集上的广泛实验表明，该框架优于已有方法，感知损失最多降低 6%。结果强调了利用结构化文本连接 fMRI 信号与图像重建的重要性。代码已公开。