EEG-Captioner: Grounding EEG-to-Language Generation in Fundamental Signal Properties
Leyuan Jin, Jiahao Mei, Yixuan Yuan, Shimeng Li, Mengyue Wu, Yue Ding
arXiv:2610.30995v1 · 2026-10-22 提交 · 10 月 23 日进入新论文列表 · 已投稿 ICASSP 2027
ABSTRACT
中文摘要
EEG 到语言模型为把复杂神经信号转换成人类可读描述提供了一条有前景的路径。然而，生成看似合理的语言并不能证明模型真正学会解释底层 EEG。直接检验这一点的方法，是要求模型回答关于信号本身、且能够被客观测量的问题。为此，作者构建了包含 160,781 个 EEG 片段的数据集，为每个片段标注信号层问答对；问题覆盖五类属性，并要求模型对频谱、空间、时间或左右侧化信号特征进行定量比较。每个片段还配有一段由特征支撑的 EEG 描述。作者进一步提出双域 EEG 编码器，联合建模时间波形与频谱—空间表示，并构建 EEG-Captioner，以信号层问答和 EEG 描述两种监督共同训练统一的 EEG→语言框架。实验中，该编码器在所比较 EEG 编码器中取得最高的总体宏平均平衡准确率；EEG-Captioner 在信号层问答上达到 88.81% 的宏平均平衡准确率，并相较仅使用描述监督的语言适配，将描述事实一致性从 82.06% 提高到 83.46%。结果表明，信号层问答与描述监督能够提供互补收益。
RESEARCH RELEVANCE
与你研究的关系
论文事实：EEG-Captioner 不以自由叙述的流畅度作为唯一证据，而是加入可由原始 EEG 计算验证的信号属性问答；双域编码器同时处理时域波形和频谱—空间表示，联合监督提高了问答准确率与描述事实一致性。研究推断：你的统一 fMRI–EEG 模型可借鉴这一思想，为生成结果增加可核验的中间问题，例如‘哪个频带、时间窗或电极群支持该语义’，并把回答与归因图、扰动实验相互校验；对 fMRI 则可对应为 ROI、时间滞后与表面区域属性问答。
LIMITATIONS
局限与核查重点
生成文本描述的是 EEG 的基本信号属性，并非从脑活动恢复被试看到、想到或说出的图像、语义或自然语言内容，因此列为 B 级而不是开放 brain-to-text 的直接证据。数据中的问答和描述由预定义信号特征构造，模型可能学习固定模板及离散阈值；83.46% 的事实一致性仍意味着存在不可忽略的错误。论文篇幅仅五页，摘要未说明数据来源、被试独立划分、跨设备泛化及未知属性组合测试。当前为未经同行评审的会议投稿预印本。
SOURCE
来源与原文
arXiv:2610.30995v1 · 2026-10-22 提交 · 10 月 23 日进入新论文列表 · 已投稿 ICASSP 2027
Leyuan Jin, Jiahao Mei, Yixuan Yuan, Shimeng Li, Mengyue Wu, Yue Ding. EEG-Captioner: Grounding EEG-to-Language Generation in Fundamental Signal Properties. arXiv:2610.30995v1 · 2026-10-22 提交 · 10 月 23 日进入新论文列表 · 已投稿 ICASSP 2027. https://arxiv.org/abs/2610.30995