SYNAPSE: Neuro-Symbolic Visual Thought-to-Text Decoding via Topological Semantic Denoising
Akshaj Murhekar, Abhijit Mishra
arXiv:2605.27790v1 · 2026-05-27 提交 · Findings of EMNLP 2026 正式接收更新
ABSTRACT
中文摘要
大语言模型推动了开放词汇 EEG→想象文本解码：模型尝试把视觉感知期间记录的非侵入式脑活动转换为连贯的自然语言描述。然而，现有系统对生物噪声十分敏感；受污染的神经投影进入冻结语言模型后，容易产生幻觉或语义不稳定。作者提出 SYNAPSE，即用于精确语义提取的符号神经对齐框架。它是一种轻量级神经符号方法，在推理阶段使用符号正则化稳定神经文本生成：通过常识图结构和潜在样例净化由 EEG 得到的语义候选，无需对大语言模型进行端到端微调。多个常用 EEG 解码基准和多种冻结语言模型后端上的实验显示，SYNAPSE 持续优于无约束提示基线；在移除物体标签的条件下仍保持稳健，性能可与计算代价明显更高的微调系统相当。框架把原始 EEG 处理限制在本地编码器内，也减少了将生物特征暴露给远端语言模型的需要。本期按 Findings of EMNLP 2026 正式接收更新收录，不重复视为全新工作。
RESEARCH RELEVANCE
与你研究的关系
论文事实：SYNAPSE 不微调冻结 LLM，而在推理时以常识图和潜在样例约束 EEG 派生语义候选，并报告跨基准、跨 LLM 后端的稳定提升。研究推断：你的脑—语言模型可把“神经证据提取”和“语言先验补全”拆开，并用图约束只修正低置信语义；同时必须加入零 EEG、打乱 EEG、错误图谱和仅 LLM 条件，判断提升来自脑信号还是外部知识先验。
LIMITATIONS
局限与核查重点
这是五月预印本的正式接收状态更新，当前 arXiv 仍只有 v1，公开页面没有显示新的实验版本。论文描述的是视觉感知诱发 EEG 到文本，而不是自由内语；常识图和潜在样例可能纠正输出，也可能用强先验掩盖神经证据不足。摘要没有给出被试划分、开放词汇范围、绝对生成指标或与仅视觉标签系统的完整盲对照。
SOURCE
来源与原文
arXiv:2605.27790v1 · 2026-05-27 提交 · Findings of EMNLP 2026 正式接收更新
Akshaj Murhekar, Abhijit Mishra. SYNAPSE: Neuro-Symbolic Visual Thought-to-Text Decoding via Topological Semantic Denoising. arXiv:2605.27790v1 · 2026-05-27 提交 · Findings of EMNLP 2026 正式接收更新. https://arxiv.org/abs/2605.27790