Adaptive Cortically Constrained EEG-Vision Alignment for Zero-Shot Brain-to-Image Retrieval

ABSTRACT

中文摘要

零样本脑到图像检索需要在噪声较大的 EEG 响应与视觉表征之间建立稳健对齐。现有 EEG—视觉对齐方法往往直接在传感器空间操作，并对所有响应使用固定视觉监督，因而忽略了头皮 EEG 的空间混合以及不同试次对齐可靠性的变化。作者提出一种用于零样本脑到图像检索的自适应皮层约束 EEG—视觉对齐方法。该方法首先把 EEG 响应重建为预定义 ROI 层级的源模式表示，再通过 Neuro-ROI Attention Encoder 进行编码。为处理逐响应的可靠性差异，模型引入基于证据的自适应视觉监督策略：依据模型测得的对齐证据，对细节程度受到控制的多个视觉目标进行加权。在 THINGS-EEG 上，该方法取得较强的 200 路零样本检索表现；ROI 层级归因还为学得的源模式表示提供事后解释。结果表明，皮层约束表示学习与自适应监督可以共同支持 EEG—视觉对齐和零样本脑到图像检索。