BRIDGE: Brain-Vision Representation Integration through Depth and Granularity Encoding

ABSTRACT

中文摘要

从非侵入式脑信号解码视觉内容仍然具有挑战，因为神经响应随时间演化，而图像通常是静态的。多数现有方法把整个神经响应窗口对齐到单一最终视觉嵌入，忽略了根本的表征不匹配：脑信号同时反映早期感知和晚期整合表征，而最终视觉嵌入偏向高层语义。因此，我们提出 BRIDGE，一种通过视觉深度编码和脑信号粒度编码对齐两种模态的脑—视觉表征整合框架。在视觉侧，BRIDGE 提取并融合 CLIP 不同深度的表征，产生保留低层和高层信息的对齐目标。在脑信号侧，BRIDGE 不把整个时间窗视为同质、从而掩盖时间异质性，而是显式把刺激诱发的 EEG／MEG 响应划分为少量按时间排序的阶段，再自适应池化。所得脑和视觉嵌入通过对比学习在共享潜空间内训练，并可通过预训练扩散先验进一步支持脑到图像生成。在 THINGS-EEG 和 THINGS-MEG 上的实验表明，BRIDGE 取得较强的检索与生成表现。消融研究进一步确认，按深度聚合视觉特征和按时间分解脑信号具有互补收益。