Decoding Naturalistic Speech from fMRI with Temporal Modeling and Multimodal Alignment
Corentin Caris, Louis Jalouzot, Nona Rajabi, Géraud Ilinca, Ahmed Hassayoune, Asilbek Muminov, Thaddée Delebarre, Clara Fonteneau, Charles Maussion, Bertrand Thirion, Alexis Thual, Antoine Collas
arXiv:2610.22049v1 · 2026-10-15 提交 · 10 月 16 日进入新论文列表
ABSTRACT
中文摘要
从脑活动重建一个人所感知的内容，是检验神经记录是否携带有意义信息的一项严格测试。自然语音为这一挑战提供了丰富的实验环境：它在多个时间尺度上展开，但 fMRI 测量具有噪声和时间上的模糊，使这种结构难以恢复。我们提出 NOEMA，一种时间卷积解码器，将连续 fMRI 测量组成的窗口与多模态刺激嵌入对齐。这些嵌入结合了同一刺激片段互补的文本、音频与语音表示，使模型能够直接从脑活动中检索该片段。在 Cephalonauts One 与 LeBel 两个自然语音数据集上，NOEMA 对超过 42% 的留出查询，能够从 2,000 个候选中将正确片段排入前十。这显著优于基线解码器；当候选池加入数千个训练中未出现的干扰片段时，这一优势仍然保持。受控消融实验确立了时间建模和互补刺激表示各自的贡献。
RESEARCH RELEVANCE
与你研究的关系
论文事实：全文分别为两个数据集的三名被试训练个体解码器，用七帧 fMRI 预测 8,704 维文本＋音频＋语音目标；按 session 划分训练、验证和测试，Top-10@2000 分别为 42.7% 和 43.6%。研究推断：你的统一 fMRI↔CLIP 模型可增加时间分支，并以文本、声学和视觉目标的组合消融衡量共享语义核心的作用；跨 session、跨刺激和跨被试应分别报告。与同样接收七帧的 Context MLP 比较，是值得沿用的控制设计。
LIMITATIONS
局限与核查重点
这是语音片段候选检索，没有直接生成文本或波形；只有每个数据集三名被试，未验证未知被试迁移。七帧窗口同时包含早于和晚于中心帧的测量，属于非因果离线模型，不能直接宣称实时解码。新增候选来自同一播客节目，尚未验证跨节目与跨语言泛化；多模态目标的优势也可能部分来自声学和说话人线索。
SOURCE
来源与原文
arXiv:2610.22049v1 · 2026-10-15 提交 · 10 月 16 日进入新论文列表
Corentin Caris, Louis Jalouzot, Nona Rajabi, Géraud Ilinca, Ahmed Hassayoune, Asilbek Muminov, Thaddée Delebarre, Clara Fonteneau, Charles Maussion, Bertrand Thirion, Alexis Thual, Antoine Collas. Decoding Naturalistic Speech from fMRI with Temporal Modeling and Multimodal Alignment. arXiv:2610.22049v1 · 2026-10-15 提交 · 10 月 16 日进入新论文列表. https://arxiv.org/abs/2610.22049