Deep LLM layers expose passage-level context in EEG during silent reading

ABSTRACT

中文摘要

我们在此前的报告中表明，通过将短 EEG 窗口与大型语言模型（LLM）中所呈现词语的隐藏状态嵌入对齐，解码器能够从默读期间记录的 19 通道 EEG 中恢复开放词汇的词级信息。此前分析只比较了模型 33 层中的两层：不含上下文的输入嵌入与一个中间层。本研究考察可由 EEG 解码的结构如何分布于语言模型的完整深度。我们为 Llama-3.1-8B 的每一层分别训练一个解码器，并比较有无作用于 EEG 窗口序列的因果 Transformer。我们区分词级可解码性与上下文跟踪成分。词级可解码性在早层达到峰值，并向最后一层持续下降；相反，无论是否使用因果 Transformer，检索增益中的上下文跟踪成分都随深度增加。出乎意料的是，每次只观察一个 0.5 秒窗口的解码器也能跟踪所读篇章。两项新增对照拆解了这一成分。目标几何对照使用真实目标加噪声构造合成预测器，并使其词级准确率与相应解码器匹配，表明上下文跟踪并不是词解码与目标几何的副产物。另一项对照在同一或不同 session 的记录 run 之间置换预测，表明大部分观察到的上下文跟踪并非由 EEG 记录 session 的特征导致，而主要跟随文本。因此，单个 EEG 窗口已携带可被上下文化目标吸收的篇章信息。结果将词身份定位于语言模型早层，将篇章状态定位于深层，并使目标层的选择成为 EEG 语言解码器的一个设计调节项。