Noninvasive decoding of typed sentences from human brain activity

ABSTRACT

中文摘要

研究提出 Brain2Qwerty，用非侵入式脑活动解码参与者在键盘上输入的开放句子。数据来自 35 名参与者的 EEG 或 MEG 记录；模型先用卷积网络提取与按键相关的局部神经特征，再由 Transformer 建模字符序列，并通过预训练语言模型约束输出。跨参与者平均结果显示，MEG 的字符错误率约为 29%，EEG 约为 65%，最佳参与者在 MEG 条件下达到约 18%。分析表明，模型不仅利用运动相关信号，也提取了与语言结构和按键序列有关的信息；扩大训练数据和跨参与者学习均能改善解码。工作证明，非侵入式记录可以支持连续、自然语言尺度的字符序列恢复，同时揭示 EEG 与 MEG 在空间信噪比和可解码性上的明显差距。