Teaching neural decoders with language
Xuan Wen, Yonghao Song, Yuhong Zhang, Guoliang Li, Tzyy-Ping Jung, Xiaorong Gao
arXiv:2610.12921v1 · 2026-10-09 提交 · 10 月 12 日进入新论文列表
ABSTRACT
中文摘要
普通类别监督只告诉神经解码器哪个类别正确，却不显式表达类别之间的语义关系。作者提出 Language as Supervision（LaS）：把神经特征投影到自然语言类别描述的嵌入空间，并通过候选文本原型完成预测。研究分别在手指运动想象、40 类稳态视觉诱发电位（SSVEP）和中文单词阅读三类数据上训练七种编码器，覆盖头皮 EEG 与颅内立体脑电 sEEG；每个数据集和编码器均独立训练。相较参数量匹配的普通分类监督，LaS 在 sEEG 单词解码上的增益最明显：CNN–BiGRU 提高 17.15 个百分点，Du-IN 达到 60.49%±14.30%，比对应分类基线高 5.22 个百分点。语言监督学到的表示还支持通过更换候选文本复用分类器，并可在少量标签下进行被试和 session 适配。SSVEP 实验进一步把 40 个频率类别分成 35 个已见与 5 个未见类别；在条件零样本设置中，正确的频率描述对应关系能够支持未见频率预测，而打乱描述会削弱泛化。双侧归因同时显示哪些神经成分和提示词共同提高同一类别匹配分数。
RESEARCH RELEVANCE
与你研究的关系
论文事实：LaS 用类别自然语言描述替代独立分类头，在 EEG/sEEG 的视觉、运动和语音任务中提高解码，并展示候选集复用与条件未见频率预测。研究推断：可把 fMRI、EEG 和 MEG 的类别或属性统一写成文本原型，使共享语义层可直接执行跨模态检索；但应比较描述内容、标签名称、随机句子和只含数值频率的原型，确认收益来自语义结构而非更灵活的分类参数化。
LIMITATIONS
局限与核查重点
它仍是封闭候选分类，不是开放式 brain-to-text；最强语音结果来自 12 名参与者的中文词语 sEEG，文本提示却使用英文翻译。未见类别只在 SSVEP 频率上成功，语音未实现真正零样本词解码。模型按数据集独立训练，尚未验证跨数据集、跨记录系统或长期 session 的统一模型；运动想象本身也不作为本期收录依据。
SOURCE
来源与原文
arXiv:2610.12921v1 · 2026-10-09 提交 · 10 月 12 日进入新论文列表
Xuan Wen, Yonghao Song, Yuhong Zhang, Guoliang Li, Tzyy-Ping Jung, Xiaorong Gao. Teaching neural decoders with language. arXiv:2610.12921v1 · 2026-10-09 提交 · 10 月 12 日进入新论文列表. https://arxiv.org/abs/2610.12921