Learning Sparse Semantic-Cortical Atoms for Multisubject Naturalistic fMRI Encoding

ABSTRACT

中文摘要

基于大型语言模型特征的自然语言编码模型能够较好预测皮层响应，但其学习到的表征仍难解释。三个挑战尤其关键：在高维、相关特征空间中，语义选择性根本上不可辨识；皮层组织仍隐含在逐体素权重图内；跨被试结构通常只在模型拟合后处理。我们提出一个多被试耦合稀疏自编码器，联合重建语言模型特征并预测被试特异脑响应，学习语义—皮层原子的稀疏基，使语义结构、皮层组织与跨被试对应在单一模型中显式呈现。在自然故事聆听 fMRI 上，模型使用 50 个原子、每个 TR 仅激活五个原子，仍保留匹配的稠密特征岭回归模型 88% 的脑预测性能。相较匹配的两阶段基线，联合训练在预测与可解释性之间取得最强的总体权衡。学习到的原子语义连贯且可解释，相较标准事后编码模型分析，恢复出更可复现的跨被试脑图谱，与 Yeo 7 和 Neurosynth 的大尺度皮层结构对齐，并在低数据条件下比岭回归更好迁移到留出被试。通过连接语义特征与多个被试的对应皮层响应模式，该框架为语义到脑编码的认知神经科学分析提供了更可解释的基底。