FlatClip: A Geometry-Aware Surface-Level Baseline for fMRI Representation Learning

ABSTRACT

中文摘要

近期 fMRI 基础模型在表示脑活动的空间尺度上差异很大。基于 ROI 和功能连接的模型高效但粒度较粗；体素级模型能保留细粒度空间结构，却需要专门的三维或四维架构以及成本较高的 fMRI 专用预训练。作者由此提出一个问题：预训练于图像的编码器能够在多大程度上复用皮层活动的空间组织？受宏观脑活动受到脑几何强约束这一证据启发，作者提出 FlatClip：一个冻结编码器的表面级基线。它将皮层活动渲染为保留几何结构的平面图序列，并仅配合轻量下游探针复用冻结的 SigLIP2 图像编码器。在静息态基准上，FlatClip 构成一种有竞争力的中间尺度表示：它在 HCP 和 ADNI 任务上优于 ROI 级基线，但在 PPMI 上较弱，整体仍低于最强的体素级模型。在视觉 fMRI 解码中，把输入限制在视觉皮层或 NSD 提供的任务激活皮层能够改善性能，显示任务相关皮层覆盖的重要性。空间扰动对照在重新训练和固定读出两种设置下都会降低平面图特征的预测表现；在三种颜色映射中，与解剖结构对应的排列也始终优于顶点随机置换。结果将表面级平面图序列定位为 ROI 与体素模型之间的实用基线，并支持利用解剖相关空间组织来复用图像预训练特征。