Brain-CLIPLM: semantic compression for EEG-to-text decoding

ABSTRACT

中文摘要

从非侵入式脑电图（EEG）中解码自然语言，仍受到低信噪比和有限信息带宽的制约。这引出了一个核心问题：能否从这类信号中可靠恢复句子层面的语言？在现实的信息约束下，直接恢复完整句子的假设可能过强。作者提出“语义压缩”假说：非侵入式 EEG 可能保留的是可恢复的语义锚点，而不是句子的完整词汇—句法形式。从这一角度看，相对于 EEG 能够恢复的信息尺度，直接句子重建的目标过于细粒度。为解决这种不匹配，作者提出 Brain-CLIPLM，将 EEG-to-text 解码分解为语义锚点恢复和锚点引导的句子重建两个阶段。第一阶段使用对比学习，把词级 EEG 证据与固定关键词词表对齐，并恢复有序的语义锚点；第二阶段使用基于检索的大语言模型和思维链提示，从这些锚点重建句子含义。该设计遵循“粒度匹配”原则，使解码复杂度与 EEG 可恢复的神经信息尺度相匹配。在合并的 Zurich Cognitive Language Processing（ZuCo）基准上，Brain-CLIPLM 的句子检索 Top-5 准确率为 67.6%，Top-25 准确率为 85.0%，其中中等粒度的语义锚点表现最佳。控制分析表明，EEG 派生的锚点包含超越语言模型先验的句子特异信息。在受限的 ZuCo 句子池和固定关键词词表设定下，这些结果说明，EEG-to-text 更适合被表述为先恢复压缩语义内容，再进行锚点引导的句子重建。