Neural Decoding as Cognitive Inference

ABSTRACT

中文摘要

神经观测会随任务、被试、session 和记录模态变化，但认知状态可以相对稳定。作者将神经解码重新表述为受脑内在先验约束的认知推断：先从低层神经观测得到受皮层几何特征模态约束的中间表示，再形成高层‘元神经语义表示’，最后连接生成模型产生文本或图像。框架覆盖 EEG、MEG、ECoG、fNIRS 和 fMRI 五种记录模态，以及运动、感知和内部思维三类认知域。NSD 的八名参与者中，高层表示相较低层图像特征在更广泛皮层范围与神经活动对应；在多项 EEG 任务上，框架相较 LaBraM、BrainOmni 和 CBraMod 提高被试内及未见被试零样本解码。跨 session 实验覆盖最长 208 天的 ECoG 和八天 EEG，高层表示的跨 session 相似性由低层表示的 0.214–0.459 提高到 0.758–0.819，并改善跨 session 解码。开放语言实验覆盖英语、普通话、粤语、法语和德语 fMRI，句子语义 BGEScore 中位数约为 0.559–0.638；NSD 中还报告图像检索、观看图像重建和心理图像重建的提升。OPM-MEG 隐语、自传体记忆、未来想象及电影诱发主观体验实验进一步用于检验内部生成内容。作者据此认为，稳定认知状态可以通过带脑结构先验的推断从变化神经活动中恢复，而不要求固定的神经活动模式。