Interpretable MEG Decoding of Perceived Speech: Cortical Sources and the Stimulus Features That Drive Retrieval

ABSTRACT

中文摘要

使用与 wav2vec 2.0 音频嵌入进行 CLIP 式目标训练的深度网络，已经能够从非侵入式脑磁图（MEG）记录中检索较短的感知语音片段。然而，这些网络权重无法直接映射到电生理量，因此究竟哪些语音属性驱动检索仍不清楚。作者以一个高性能 MEG-to-audio 检索架构为基础，重新设计其前端和解码器：将作用于展平传感器布局的空间注意力替换为定义在三维 MEG 头盔几何上的球谐函数；把被试特异表示从 270 个分支缩减到 25 个分支；为每个分支加入时间滤波器，使其能够对应时空中的神经源；同时简化卷积解码器。训练前还移除了眼动与心脏成分，以降低刺激锁定捷径的风险。在 MEG-MASC 数据集上，六次独立训练的模型在 1005 个候选片段中取得 39.75±0.34% 的 Top-1 准确率，同时解码器参数量约减少 20 倍。模型权重可以投影到源空间，恢复出与语音知觉网络一致的神经发生源；左侧化分支包含右侧不明显的较高频节律成分。配对 MEG 遮挡实验显示，19 项刺激特征中有 15 项对检索有贡献，影响最大的是静音、声音强度、元音和声学起始。随机词表呈现相反结果：用叙事条件下的 MEG 替换随机词表 MEG 反而改善检索，说明缺乏叙事结构的活动包含更少可恢复信息。wav2vec 目标可以压缩到约 12 个学习得到的特征维度而不损失准确率，但强时间压缩会造成明显性能下降。综合而言，源空间映射与输入干预共同揭示了驱动语音检索的关键因素。