Dataset-Specific Encoding of Image Content Underlies Cross-Dataset Failure in Brain MRI Foundation Models

ABSTRACT

中文摘要

脑 MRI 基础模型的冻结特征常在新数据集上失效，通常被归因于表示编码了数据来源。作者在 17 个独立公开脑 MRI 数据集和八种冻结表示上检验这一解释，包括 BrainIAC、BrainFM、3DINO、SAM-Med3D、MedicalNet、SwinUNETR、手工特征和未训练网络。所有表示都能在单个数据集内部识别 T1、T1c、T2 或 FLAIR 序列，但多数无法在完整留出数据集上迁移；数据集身份是否容易被解码、每个数据集的整体位移，以及 pooled accuracy 都不能解释失败。关键变量是同一内容类别在不同数据集中是否沿一致方向分离。INLP、LEACE、CORAL 和域对抗训练虽然可减弱数据集信号，却都没有改善序列迁移。只有在约十万 MRI、CT、PET 上广泛预训练的 3DINO，以及在约 2.2 万 CT/MRI 上训练的 SAM-Med3D，能较一致地编码序列并稳定超过未训练网络；脑专用的 BrainIAC 和 BrainFM 没有显著优势。方向一致性还能解释性别标签的部分迁移，并可在未标注目标数据上预警失败。