Beyond Trial Averaging: Anchoring Neural and Visual Representations for Few-Repetition Brain-to-Image Retrieval

ABSTRACT

中文摘要

从脑信号解码视觉信息既能探查神经表征，也可能服务神经康复和梦境解码。近期脑到图像检索方法通常对同一图像的许多次神经试次取平均，有时多达 80 次；这增加了刺激重复、采集延迟、成本和被试负担。当只保留一次或少数几次重复时，检索准确率会显著下降，通常被归因于查询噪声，因为平均能够抑制噪声并提高信号稳定性。作者却发现一种非传递对齐现象：少重复查询信号和图像表征都分别与高重复中心对齐，但二者彼此并不直接对齐。这说明查询噪声只解释了一部分问题，图库中候选图像的放置方式同样影响检索。为此，作者提出神经锚点检索框架 NEAR，把高重复中心视为锚点并从两侧逼近：去噪器把有噪查询拉向真实锚点，一个小型网络则依据每个候选图像预测其伪锚点，并把图像表征拉向该位置。在横跨 EEG、MEG 和 fMRI 的四个数据集上，NEAR 在少重复试次条件下持续改善检索。以 THINGS-EEG2 为例，当分别平均一次和四次重复时，200 选一 Top-1 准确率提高 5.7 和 9.3 个百分点。通过同时锚定神经与视觉表征，NEAR 减少了对重复采集的依赖，使神经检索更接近实际部署。