Semantic Alignment of EEG and Text: A Contrastive Learning Framework for Decoding Imagined Speech

ABSTRACT

中文摘要

从 EEG 解码想象语音，为自然化脑机接口提供了一条有前景的路径。传统封闭集合分类器将语义类别视为相互独立的标签，不显式利用语言意图之间的关系，因此限制了输出灵活性。我们将多模态对比学习框架适配到想象语音，在冻结预训练文本编码器的嵌入空间中，把 EEG 试次与语言表示对齐。EEG 编码器使用复合目标训练，将语义重加权的 EEG—句子对齐与基于文本原型的类别判别结合，在鼓励语义结构的同时保持 39 类意图的可分性。我们在 Chisco 想象语音数据集的五名被试上评估该方法，报告 Top-k 准确率、宏平均 F1 和平衡成对匹配准确率（2v2）。我们还研究最大 EEG—文本余弦相似度（MaxCosine）能否作为解码可靠性的内在指标，并通过五个评估阶段的语义轴及包含未见候选句的定性语义图库探针（SGP），探查类别标签之外的语义结构。对比框架在将 EEG 映射到冻结语言嵌入空间的同时，达到了与任务优化的封闭集合分类器相当的解码性能。MaxCosine 在各被试中识别出 Top-1 和 Top-5 准确率更高的留出试次子集。五个语义轴的平均一致性均高于 50% 的机会参考水平，SGP 则定性展示了与未见候选句直接比较的能力。这些发现表明，EEG—语言对齐能够保留固定意图解码性能，同时支持基于相似度的检索、内在可靠性排序和更广泛语义结构的评估。