Many Brains, One Geometry: A Shared Visual-Semantic Space for Cross-Dataset fMRI Decoding

ABSTRACT

中文摘要

视觉 fMRI 解码通常分别为每名参与者和每项实验训练模型，因此不同研究中的异构神经测量能否形成统一的计算几何仍不清楚。作者提出 BRAID-fMRI：一个受 CLIP 监督的共享解码框架。研究使用经过统一预处理的 MOSAIC 资源，汇集八个视觉 fMRI 数据集、93 个数据集特异的参与者条目（77 名独立个体）、430,007 个单试次反应和 162,839 个独特刺激。模型以 379 个皮层及皮层下 ROI 为输入，为不同 ROI 使用独立 tokenizer，再由所有数据集和参与者共享的 Transformer 映射到冻结的 512 维 CLIP ViT-B/32 图像空间；多正样本对比目标把跨参与者或跨数据集重复出现的同一刺激视为正样本。模型同时支持可选的参与者嵌入和完全关闭参与者条件的共享编码。在八个具有匹配基线的参与者条目上，BRAID-fMRI 的 Top-10 检索准确率为 35.0±11.1%，高于 MindEye 风格的 pooled-CLIP 解码器 27.1±5.1% 和岭回归 21.1±9.1%，并在八个条目中的七个取得最高结果。目标数据集留出实验中，目标数据集的全部参与者和刺激均不参与训练；随着源数据集增加，无参与者条件模型在七个目标数据集上均获得最终增益，相对初始源条件最高提升 92.1%。学到的空间保留从刺激身份到语义相似性的分级结构，消融和显著性分析突出腹侧及早期视觉皮层，同时显示运动与注意网络的类别相关贡献。