Beyond Parallel Tracking: Interactive Multi-Feature Fusion Drives Semantic Reconstruction from Non-invasive Brain Recordings

ABSTRACT

中文摘要

从非侵入式神经记录连续重建语义，仍受到语义特征空间与神经编码模式之间表征失配的限制；这种失配严重阻碍了高噪声神经信号与目标语义特征之间的跨模态对齐。以往语义解码器通常孤立地使用静态词汇表征或动态上下文化表征。这种单维方案不可避免地造成严重信息损失，因为它没有考虑人脑同时整合稳定词属性与动态语境的能力。为弥合这一差距，本文提出一个用于非侵入式语义重建的多特征融合框架，并系统比较两种集成方式：线性的朴素拼接和非线性的多头交叉注意力。在该框架中，方法通过交互式门控机制，以动态上下文表征（GPT）补充静态词汇表征（W2V），从而促进语言理解过程中的协同处理。通过广泛的语义重建和文本生成实验进行评估后，模型呈现出稳定的性能层级：Cross-Att > Concat > GPT > W2V。关键的是，非线性交叉注意力融合取得了当前最先进性能。这表明，神经语言解码若模拟语境信息与核心词汇属性之间的协同调制，会优于依赖彼此孤立的单一特征；同时，该方法提供了一条可行的非侵入式脑信号到文本解码路径。