HDND: Hierarchical Dynamic Neural Decoding for Multilingual Word/Character Retrieval from Non-Invasive Brain Recordings

ABSTRACT

中文摘要

深度学习已经能够从颅内脑记录中解码语言，但把这种能力扩展到非侵入式记录仍未解决。单词级解码尤其困难，因为相应神经证据很弱、分散于时间轴，并且与声学、词汇和语义结构相互纠缠。现有检索流程通常把这些因素压缩成单一表示，可能丢失中间时间尺度上可用的信息。作者提出层级动态神经解码框架 HDND，将单词解码视为结构化逐级细化，而不是平坦标签检索。HDND 结合中间神经表示、上下文语义预测，并在部分阅读条件下加入字符形态辅助目标。研究在七个 EEG 和 MEG 数据集上评估该方法，覆盖英语、荷兰语、普通话和粤语的听觉、阅读及朗读条件。在九种条件的单词检索基准中，HDND 的参与者平均平衡 Top-10 点估计在每种条件下都高于匹配的上下文单词解码基线，并在九种条件中的八种取得所有方法最高均值；token-micro 与汇总后的 word-macro Top-10 点估计也在全部九种匹配条件中更高。句子检索在九种条件中的八种有利于 HDND，而六种听觉条件上的语音片段检索结果较为混合。结果表明，层级残差细化能够改善异构非侵入式脑记录上的多语言单词检索。