Removing Timing Shortcuts Improves Non-Invasive Brain-to-Text
Dulhan Jayalath, Oiwi Parker Jones
arXiv:2609.40359v1 · 2026-09-30 提交
ABSTRACT
中文摘要
作者发现，非侵入式脑记录单词解码中一些被报告的重要提升，即使完全不使用脑数据也可以基本复现。已有方法从连续语音对应的脑活动中，以每个词的起始时刻切出固定长度窗口，再把一句话中所有窗口联合输入网络。相邻窗口大量重叠，因而隐式暴露词与词之间的时间间隔；而该间隔与词的发音时长高度相关，模型便可能在不利用神经活动的情况下缩小候选词范围。在真实 MEG 上，联合窗口解码达到 22.3% 的平衡准确率；替换为不含任何脑信息、但保留相同重叠结构的合成信号后仍达到 22.0%，而移除重叠后降至 5.8%。作者提出简单修正：每个词窗口独立编码，使模型无法利用相邻窗口的共享样本。去除捷径后，聚合同一单词的多次独立神经响应，以及使用预训练语言模型作为语言先验，都变得更加有效。SimpleB2T 在感知语音基准的核心临床句子上，单次观察的词错误率为 65.6%，每个词聚合五次观察后降至 36.6%。结果揭示了词对齐脑到文本评估中的重要时间泄漏，并表明独立窗口解码能够迫使模型更多使用真实脑信号。
RESEARCH RELEVANCE
与你研究的关系
论文事实：在 LibriBrain100 等 MEG 数据上，联合窗口方法从独立解码的 9.5% 提升到 22.3%，但保持相同窗口重叠的纯合成信号也达到 22.0%；独立解码配合五次神经响应聚合和 Qwen3-8B 重评分后，在受限临床句子上达到 36.6% WER。研究推断：你的 fMRI/EEG/MEG 内容解码评估应加入零脑信号、保持时间戳的合成信号、打乱窗口内容但保留边界，以及仅语言模型四类控制；凡是脑数据被替换后仍保持的收益，都不能归因于神经表征。
LIMITATIONS
局限与核查重点
研究解码的是已知词起始位置和词数的感知语音，不是自由内语或开放时间轴转写；临床基准也只有 92 词词表，并通过重复观察同一词提高信噪比。36.6% WER 不能与未知边界、连续输出的侵入式 BCI 直接比较。独立窗口仍可能包含后续词的神经响应，语言模型重评分也会把受限句法和词表先验带入最终结果。
SOURCE
来源与原文
arXiv:2609.40359v1 · 2026-09-30 提交
Dulhan Jayalath, Oiwi Parker Jones. Removing Timing Shortcuts Improves Non-Invasive Brain-to-Text. arXiv:2609.40359v1 · 2026-09-30 提交. https://arxiv.org/abs/2609.40359