LEAF: Language-EEG Aligned Foundation Model for Brain-Computer Interfaces

ABSTRACT

中文摘要

EEG 基础模型为脑机接口学习可迁移表征，但现有方法把任务和标签视为离散目标，没有利用自然语言任务指令的语义结构引导表征学习。我们提出 LEAF，一种通过语义任务指令与查询实现 EEG—语言对齐的基础模型。LEAF 整合任务感知语义引导，产生具有结构并与语言对齐的 EEG 嵌入，从而增强解码稳健性与迁移能力。在 EEG 预训练阶段，我们引入联合频谱—时间重建（STR）框架，捕捉 EEG 频谱节律与时间动力学之间的耦合。STR 通过随机频谱扰动增强频率稳健性，并使用两个互补时间目标学习上下文与序列结构。在 EEG—语言对齐阶段，我们提出指令条件 Q-Former（IQF）。这一基于查询的交叉注意力 Transformer，把指令嵌入注入 EEG token，再通过可学习查询与文本标签嵌入实现语义对齐。我们在 16 个下游数据集上评估 LEAF，涵盖运动想象、情绪识别、稳态视觉诱发电位、隐语和医疗任务。LEAF 在其中 12 个数据集上达到最先进性能，并在五类任务中均取得最佳平均结果。重要的是，作者的分析首次揭示，显式任务指令作为语义先验，引导 EEG 嵌入进入连贯且具有语言落地的空间。代码已提供。