MIRAGE: Adaptive Multimodal Gating for Whole-Brain fMRI Encoding

ABSTRACT

中文摘要

任务优化神经网络的进展，使编码模型成为预测自然刺激所诱发脑响应的有力工具，但现有方法大多依赖单模态表征。全模态基础模型与丰富多模态神经数据集的出现，使跨被试联合整合视觉、听觉和语言信息的共享编码模型成为可能。我们提出 MIRAGE，一种预测带有配对转录文本的自然视听刺激所诱发全脑 fMRI 响应的脑编码框架。MIRAGE 通过三个模态特异的交叉注意力模块，从单个预训练全模态主干中提取表征；模块的潜在查询自适应聚合主干 48 层的特征，再通过基于 Transformer 的脑编码器和皮层分区上的被试特异线性头进行组合。在 Algonauts 基准的分布外数据集上，MIRAGE 取得最先进结果。受控比较表明，在不同架构层级和主干中，原生多模态融合，即从同一个联合训练模型中提取特征，都持续优于对独立提取的单模态流进行事后融合。除预测准确率外，学习到的注意力权重可直接检查：各模态门控模块发现不同的主干深度分布，各模态也在皮层上呈现不同、具有解剖结构的模式。这些结果表明，对原生多模态特征进行自适应逐层聚合，是一种更可泛化、更可解释且更准确的全脑编码方法。