FlatClip: Reusing Image Foundation Models for fMRI Representation Learning via Cortical Flatmaps

ABSTRACT

中文摘要

近期 fMRI 基础模型在表征脑活动的空间尺度上存在显著差异。基于 ROI 和连接性的模型高效但粗糙，体素级模型保留精细空间结构，却需要专门架构和昂贵的 fMRI 特异预训练。我们研究，这种性能差距是否部分反映保留皮层几何的重要性。受宏观脑活动受到脑几何强约束这一证据启发，我们提出 FlatClip，一个无需训练的表面级基线：它将皮层活动渲染成具有几何感知能力的平展图序列，复用冻结 SigLIP2 图像编码器，并只配合轻量下游探针。由于 FlatClip 未在 fMRI 上预训练，它提供了一个域外参照，用于评估不依赖 fMRI 特异预训练数据时，可从皮层几何中恢复多少信息。在静息态和视觉 fMRI 基准上，FlatClip 优于 ROI／功能连接风格的控制及多个通用 fMRI 基础基线，而体素级模型仍构成较强的上层比较。几何控制实验表明，破坏皮层拓扑会降低性能；把 ROI 级信号重新映射回图谱定义的四维体积能够部分恢复性能，但仍低于完整体素输入。这些结果将皮层几何确立为 fMRI 表征学习的重要因素，并使表面级平展图序列成为 ROI 与体素模型之间实用的中间层基线。