Decoding silent reading from non-invasive EEG

ABSTRACT

中文摘要

非侵入式内语解码面临一个根本的数据问题：无法采集把脑活动与个人自发内心独白成对对应的语料，而现有替代范式——由提示反复诱发的内语，以及事后报告的生成式内语——采集速度慢、时间锁定较差，也无法验证参与者是否真正按要求完成任务。作者因此把静默阅读视为一种可扩展的替代任务，并考察对比式解码器能从中提取多少词汇和语义信息。研究报告了一项开放词汇分析：一名接受密集采样的参与者完成了 393 个 run、约 49 小时的 19 通道干电极 EEG 记录，共包含约 24 万次单词呈现。连续叙事文本中的词语通过快速序列视觉呈现方式显示，并在每个试次随机改变字体排版，以部分解除词语身份与低层视觉形式之间的相关。模型使用卷积 EEG 编码器，并可选地连接因果 Transformer；训练采用类似 CLIP 的对比目标，把短 EEG 时间窗与大型语言模型中对应呈现词的隐藏状态嵌入对齐。解码采用按单词分组的 Top-10 检索，并与置换基线比较。结果稳定高于机会水平，能够覆盖中等频率词和低频词；随着训练数据增加，性能呈对数线性提升，尚未出现饱和迹象。移除枕叶和后颞叶电极会使词级增益下降约三分之一，但不会影响语境追踪。进一步的控制分析将词级解码与叙事语境追踪分开，也识别并排除了由 Transformer 位置嵌入引入的非神经位置先验。结果表明，静默阅读期间的 EEG 确实包含可恢复的开放词汇词级信息，而且当前解码能力主要受数据量限制，尚未达到饱和。