CoCoT-EEG: Contrastive-Pretrained Multiscale Convolutional Transformer for EEG Decoding

ABSTRACT

中文摘要

自监督预训练基础模型已经在无创脑电图（EEG）解码应用中展现出初步潜力。许多近期的大规模模型逐渐趋同于同一种方案：先将原始 EEG 划分为 token，再通过掩码重建进行预训练。然而，已有研究表明，对于 EEG 这类噪声幅度较高、且有效信息集中在窄频带等有限维度中的数据，这种方案并非最优。基于这一认识，作者开发了一种新的对比式预训练 EEG 模型 CoCoT，其输入端采用多尺度时间卷积层，后接 Transformer 编码器模块。在包含异质电极配置的大范围基准解码任务上，CoCoT 的表现达到或超过了当前最先进的重建式预训练 EEG 模型。此外，即使不经过预训练、直接从头训练，CoCoT 也优于既有的单任务解码模型，甚至能够与预训练模型竞争，体现出该架构的灵活性和数据效率。通过包括模型架构和预训练目标在内的系统消融实验，作者证明了对比学习用于构建 EEG 基础模型的可行性，同时提出若干关键架构设计考量，并由此推动对其他大规模预训练策略的进一步研究。