Brain-Semantoks: Learning Semantic Tokens of Brain Dynamics with a Self-Distilled Foundation Model

ABSTRACT

中文摘要

面向 fMRI 时间序列的基础模型，有望预测疾病和认知相关表型。然而，现有模型通常在较小脑区上采用掩蔽并重建目标训练。对低层信息的聚焦使表征容易受到噪声和时间波动影响，下游任务因而需要大量微调。我们提出 Brain-Semantoks，一个专门学习脑动力学抽象表征的自监督框架。其架构包含两项核心创新：语义 tokenizer 将带噪区域信号聚合成表示功能网络的稳健 token；自蒸馏目标约束表征在时间上的稳定性。我们提出新的训练课程以稳定这一目标，确保模型能从低信噪比时间序列中稳健学习有意义特征。我们证明，学习到的表征即使仅使用线性探针，也能在多种下游任务上取得较强表现。此外，全面的规模分析表明，增加无标签数据能够在无需域适配的情况下，持续改善分布外表现。