MindMix: A Multimodal Foundation Model for Auditory Perception Decoding via Deep Neural-Acoustic Alignment

ABSTRACT

中文摘要

从非侵入式 EEG 解码复杂听觉体验是一个快速发展的领域，有望推动基础神经科学与人机交互。EEG 基础模型的近期进展产生了强大的神经表征，具有听觉解码潜力，但其有效性仍根本受限于声学刺激信息整合不足。特别是，神经信号与听觉输入缺乏深度耦合，限制了模型跨不同听觉任务泛化。为弥补这一缺口，我们提出多模态基础模型 MindMix，连接单模态 EEG 基础模型与任务特异听觉解码器。MindMix 采用两阶段训练：首先，在超过三千小时 EEG 上预训练高容量编码器，学习能够跨任务与被试迁移的通用特征；其次，利用超过一百小时配对数据，通过新提出的跨注意力低秩对齐模块学习神经—声学映射，实现细粒度跨模态信息整合。实验表明，MindMix 在听觉注意解码、听觉情绪识别和跨模态检索等任务上显著优于已有基线。本工作为多模态脑解码与听觉脑机接口提供基础，代码已公开。