Cross-Subject Generalization in Decoding Perceived Speech from Non-Invasive Brain Recordings

ABSTRACT

中文摘要

从非侵入式脑记录中解码被感知的语音具有重要的科学与应用价值，但现有方法通常难以迁移到新被试，因为它们缺少显式提取被试间一致信息的机制，导致训练成本高、解码性能不稳定。作者提出跨被试感知语音解码框架 CPSD，采用两个训练阶段。首先进行源模型预训练，利用对比学习从多个源被试中提取共享表征；随后进行个体化专门化，从源模型中提取一致成分来初始化目标被试模型，并使用目标被试数据微调。模型还加入基于位置编码的空间注意力模块 PESA，把不同布局的 MEG/EEG 数据映射到标准参考空间，以提高跨被试空间一致性并简化训练。作者在三个覆盖不同模态和语言的感知语音数据集上评估该框架；相对于基线，CPSD 在 Armeni 2022、PKUEEG 2025 和 Broderick 2018 上的 Top-10 准确率分别提高超过 6.8、15.4 和 15.8 个百分点。进一步分析支持其有效性、效率与稳健性。