SCORE: Subject Coordinate Recovery for Label-Free Cross-Subject EEG-to-Image Retrieval

ABSTRACT

中文摘要

准确的视觉解码可以揭示大脑如何表征视觉信息，并从 EEG 等神经信号中恢复被感知内容。然而，对于没有标注校准数据的新用户，现有 EEG 到图像检索方法的性能远低于被试内模型，限制了实际部署。作者分析跨被试 EEG 特征后发现：不同被试保留了相似的概念关系，却沿不同坐标方向表达这些关系。基于这一观察，他们提出被试坐标恢复框架 SCORE，将面向恢复的源域训练与部署时坐标对齐结合起来，并且不需要目标标签。训练阶段，SCORE 把源被试 EEG 对齐到共同图像空间，并通过只使用源域的 episode 模拟未见被试的恢复过程。部署阶段，两个编码器保持冻结；模型先通过校正 hubness 的匹配选出可靠 EEG—图像地标，再估计正交变换，在不访问源数据、目标标签或更新编码器的情况下恢复目标 EEG 坐标。在两个公共基准的 200 选一检索上，SCORE 对每个目标被试都优于未适配基线，并取得最佳整体结果：在 THINGS-EEG2 和 Alljoined-1.6M 上，Top-1/Top-5 分别达到 53.23%/83.55% 和 12.01%/32.16%，相对最强基线分别提高 17.45/15.70 与 3.08/4.62 个百分点。SCORE 因此把跨用户的脑视觉解码推进到更稳健、实用和低延迟的方向。