It Depends on the Dataset: When a Brain-Encoding Model's Predicted Responses Beat Their Visual Backbone for Video Memorability

ABSTRACT

中文摘要

脑编码基础模型已经能够预测视频、音频和文本诱发的 fMRI 响应，并在 Algonauts 2025 挑战中取得领先结果。本文进一步询问：在不使用真实扫描仪的情况下，由模型预测得到的脑响应能否作为一种有用的特征视角，用于预测短视频的人类记忆性。作者把每个视频片段投影到 TRIBE v2 预测的皮层空间中，再使用岭回归预测短期记忆性；对照表示来自同一模型在进入脑投影层之前的 V-JEPA2 视觉骨干。结果具有明确的数据集依赖性：在 Memento10k 内，视觉骨干优于脑投影，Spearman 相关分别为 0.594 和 0.544；在 VideoMem 内，脑投影优于视觉骨干，分别为 0.415 和 0.368，差值为 0.047，95% 置信区间为 0.009 至 0.088。两个数据集内的差异方向相反，但 bootstrap 区间均不包含零。跨数据集迁移也延续这一分化：在 Memento10k 上训练并迁移到 VideoMem 时，脑投影领先 0.076；反向迁移时则落后 0.311。VideoMem 上的优势无法由样本规模或简单压缩解释；在控制训练规模、采用 PCA 后接岭回归，并与压缩或加强正则化的骨干比较后，脑投影仍保留优势，且比经过迁移调优的骨干高 0.053。结果说明，预测脑特征确实包含视觉骨干在某个数据集中遗漏的一小部分记忆性信号，但它不是跨数据集稳定的通用先验。进一步分离出与视觉表示正交的成分后，该成分与记忆性的偏相关为 0.19，置换检验 p=2.5×10^-4，并定位到腹侧枕颞皮层。作者公开了代码和预测响应数组，但未重新分发原始视频和记忆性评分。