The Semantic Bottleneck: Leveraging Semantic Representations for Non-Invasive Speech Decoding
Gilad D. Landau, Dulhan Jayalath, Oiwi Parker Jones
arXiv:2609.10296v1 · 2026-09-09 提交
ABSTRACT
中文摘要
非侵入式语音解码受脑记录低信噪比限制，因此细粒度恢复音素或单词十分困难。基于高层语义表征分布于多个皮层区域、且在较慢时间尺度上演化的神经科学证据，作者提出：对非侵入式解码而言，语义内容可能比低层声学或词汇特征更适合作为预测目标。为此，研究提出 Brain2Semantics2Text，通过中间语义嵌入空间重建文本。模型先把句子级 MEG 响应映射到语义流形，再将预测得到的嵌入反演成自然语言；这一语义瓶颈使系统无需词级时间对齐，也能恢复较高层意义。论文介绍方法的核心原则、实现方式，以及缓解神经信号到语义映射不稳定的策略，并与既有非侵入式 brain-to-text 方法比较，报告更好的句子级结果。
RESEARCH RELEVANCE
与你研究的关系
论文事实：该方法把句子级 MEG 先映射到语义流形，再从语义嵌入生成文本，避免直接学习音素或逐词对齐。研究推断：这与统一 fMRI–MEG–EEG 模型的共享语义核心直接对应：各模态先保留自己的时空坐标和被试适配器，再预测同一个句子级语义表示；随后必须用错误语义、零脑信号和仅语言模型对照区分神经证据与生成先验。
LIMITATIONS
局限与核查重点
目前是未经同行评审的预印本，摘要没有给出数据集、被试数、跨被试划分、语言模型后端、绝对指标或开放词汇评估细节。句子级语义恢复可能依赖有限候选集或强语言先验；没有词级对齐虽降低难度，也会掩盖神经信号究竟提供了多少可定位的语言信息。摘要中的‘优于既有方法’需要正文中的匹配基线和盲对照支持。
SOURCE
来源与原文
arXiv:2609.10296v1 · 2026-09-09 提交
Gilad D. Landau, Dulhan Jayalath, Oiwi Parker Jones. The Semantic Bottleneck: Leveraging Semantic Representations for Non-Invasive Speech Decoding. arXiv:2609.10296v1 · 2026-09-09 提交. https://arxiv.org/abs/2609.10296