The Visual Target Matters: Learning across the Visual Hierarchy for Brain-to-Image Retrieval

ABSTRACT

中文摘要

脑到图像检索旨在从候选集合中识别引发非侵入式神经响应的视觉刺激。候选图像通常由预训练视觉模型表示，而这些模型不同深度的内部表示具有不同抽象程度；现有方法通常要求神经编码器恢复一个固定的末层视觉目标。这样会把完整视觉层级压缩成预先指定的单一终点，使其他深度的表示无法直接影响检索目标。为此，作者提出 NeuroGlyph，从冻结视觉主干的多个深度学习一个与试次无关的视觉目标。NeuroGlyph 将目标分解为若干因素特异子空间，每个子空间都根据图像内容学习如何在不同视觉深度之间分配权重，随后把这些子空间融合成用于检索的统一嵌入。在 THINGS-EEG 与 THINGS-MEG 上，NeuroGlyph 在所有受控比较中均优于末层监督，并在四项比较中的三项超过事后选择的最佳固定层 oracle。参数量匹配的消融同时支持因素化目标构造与图像条件化深度分配。在可比的 200 选 1 检索协议下，NeuroGlyph 在八项系统级指标中的六项取得最佳表现。结果支持让模型从完整视觉层级学习检索目标，而不是人为指定某一视觉深度。