Contrastive Learning with Variational Regularization for Multi-Session EEG-to-Speech Decoding
Tomoaki Mizuno, Toru Nakashika
arXiv:2608.16360v1 · 2026-08-17 提交 · APSIPA ASC 2026 接收
ABSTRACT
中文摘要
从非侵入式 EEG 重建被听到的语音受到低信噪比和跨 session 变异的双重挑战。虽然对重复试次取平均可以提高信噪比，但这种做法很难用于连续语音。作者改为把不同 session 中对同一刺激产生的重复 EEG 响应作为对比学习的正样本，并加入变分正则；后者与对比目标结合，使编码器表征空间保持足够宽广，避免为追求 session 不变性而发生表示塌缩。在一个日语 EEG 数据集上的实验表明，跨 session 不变策略与变分正则结合，能够在保持梅尔频谱重建保真度的同时改善字符错误率。进一步的 session 探测实验确认，编码器学到的表征具有 session 不变性。
RESEARCH RELEVANCE
与你研究的关系
论文事实：该方法用同一语音刺激在不同 session 的 EEG 响应构造正样本，并通过变分正则在不变性与表征容量之间取得平衡。研究推断：这可直接作为跨 session fMRI/EEG 统一模型的训练单元：共享语义应跨 session 收敛，而采集批次、设备和被试差异进入独立潜变量；同时可用 session probing 与刺激检索共同检验模型究竟消除了批次信息，还是连同可解码内容一起抹平。
LIMITATIONS
局限与核查重点
摘要只报告单个日语 EEG 数据集，没有给出被试数、session 数或字符错误率的具体改善幅度；任务重建的是被听到的语音而不是自发言语或内语。不同 session 的同刺激正配对仍需要重复采集，且论文没有展示跨被试、跨语言或跨数据集泛化，因此列为 B 级。
SOURCE
来源与原文
arXiv:2608.16360v1 · 2026-08-17 提交 · APSIPA ASC 2026 接收
Tomoaki Mizuno, Toru Nakashika. Contrastive Learning with Variational Regularization for Multi-Session EEG-to-Speech Decoding. arXiv:2608.16360v1 · 2026-08-17 提交 · APSIPA ASC 2026 接收. https://arxiv.org/abs/2608.16360