Is EEG-to-Text Feasible in Real-World Scenarios? An In-Depth Analysis Using a Neuropsychology-Inspired Benchmark

ABSTRACT

中文摘要

从脑电图（EEG）信号中解码自然语言文本是脑机接口领域的一项关键目标。然而，现有 EEG-to-Text 方法普遍依赖教师强制：在生成每个词时向解码器提供真实的前文词语。作者指出，一旦去除教师强制，这些方法的性能便会大幅下降，使其难以用于真实场景；这一问题也暴露出现有基准的根本缺陷，即它们忽视了 EEG 信号本身的不稳定性。为此，本文从神经心理学获得启发，对教师强制条件下和无教师强制条件下的 EEG-to-Text 解码进行深入分析，并提供证据表明，在更合理的实验范式中，无教师强制的文本解码是可行的。作者进一步构建了 COFETT（Corpus OF EEG-To-Text），采用 128 通道高密度 EEG 采集，用于建立更具区分力的基准和更稳健的无教师强制评估。该工作旨在推动 EEG-to-Text 从依赖目标文本提示的离线实验，转向能够仅依据脑信号连续生成文本的现实设置；数据集、基准与实现均已开源。