Brain-OF: An Omnifunctional Foundation Model for fMRI, EEG and MEG

ABSTRACT

中文摘要

脑基础模型在广泛神经科学任务中取得显著进展。然而，多数现有模型局限于单一功能模态，限制了对不同神经影像技术互补时空动力学及汇总数据规模的利用。这一局限主要来自模态之间严重的语义异质性和分辨率差异。为解决这些问题，我们提出 Brain-OF，一种在 fMRI、EEG 和 MEG 上联合预训练的全功能脑基础模型，能够在统一框架中处理单模态和多模态输入。为协调异质时空分辨率，我们引入任意分辨率神经信号采样器，把多样脑信号投影到共享语义空间。为进一步处理语义偏移，Brain-OF 主干整合 DINT 注意力与稀疏混合专家：共享专家捕捉模态不变表征，路由专家专注于模态特异语义。此外，为通过自监督学习显式内化神经活动特性，我们提出掩码时间—频率建模，一种同时在时间和频率两个域重建脑信号的双域预训练目标。Brain-OF 在约 40 个数据集构成的大规模语料上预训练，在多样下游任务中展示优越表现，凸显联合多模态整合与双域预训练的益处。作者表示代码将在接收后公开。