CodeBrain: Bridging Decoupled Tokenizer and Multi-Scale Architecture for EEG Foundation Model

ABSTRACT

中文摘要

EEG 为脑活动提供实时观察，并支持多种神经科学应用。尽管 EEG 基础模型有望解决任务特异模型的扩展性问题，当前方法学到的表征仍缺乏临床可解释性和判别力，难以高效捕捉全局依赖，并忽略重要的局部神经事件。我们提出两阶段 EEG 基础模型 CodeBrain。第一阶段引入 TFDual-Tokenizer，将异质的时间与频率 EEG 信号解耦为离散 token，以平方级方式扩展表示空间来增强判别能力，并通过提示与神经事件、频谱节律的潜在联系，提供领域特异的表征层可解释性。第二阶段提出多尺度 EEGSSM 架构，将结构化全局卷积与滑动窗口注意力结合，高效捕捉稀疏长程依赖和局部依赖，呼应脑的小世界拓扑。在规模最大的公开 EEG 语料上预训练后，CodeBrain 在八项下游任务、十个数据集的分布迁移下取得较强泛化表现，并得到全面消融、规模分析和可解释性评价支持。代码与预训练权重已公开。