Rethinking Brain Decoding with CLIP: The Role of Adversarial Robustness

ABSTRACT

中文摘要

脑解码旨在通过从脑信号中推断与刺激相关的表征来揭示神经机制。在 fMRI 研究中，这通常通过将 fMRI 响应映射到计算模型的潜在表征来实现。近年来，CLIP 凭借丰富的视觉—语言嵌入空间，成为脑解码中常用的选择。然而，将 fMRI 信号与 CLIP 表征对齐仍然具有挑战性。由于 CLIP 并未针对神经对齐进行专门优化，其表征可能捕捉到在统计上具有预测性、但只部分反映脑活动的线索，从而限制解码性能。本文研究对抗鲁棒表征是否能够改善基于 CLIP 的神经解码。对抗训练会抑制非鲁棒特征，并促进更稳定、具有感知结构的表征，这些表征可能与脑活动更一致。作者固定 fMRI 解码器，只改变目标表征，在 NSD 和 GOD 数据集上评估标准 CLIP 与鲁棒变体在 fMRI—图像检索和零样本分类任务中的表现。结果显示，仅改变目标表征这一简单操作，就能持续提升任务性能，并在多种指标上带来更强的对齐。归因分析进一步发现，标准 CLIP 与其鲁棒变体之间的特征重要性一致性持续较低，表明对抗鲁棒性会重组视觉表征中的特征重要性。这些结果说明，目标表征的选择会显著影响神经解码性能，对抗鲁棒性可以成为脑解码目标空间的一个有用评价标准。