Boosting Brain-to-Image Decoding with TRIBE v2 Data Augmentation

ABSTRACT

中文摘要

脑解码受到带标签神经数据可获得性的限制，在低数据条件下尤其困难。为解决这一问题，我们研究：利用预训练刺激到 fMRI 响应模型产生的合成数据扩充小型 fMRI 数据集，能否以及何时改善脑解码。我们使用 TRIBE v2，它是一个在超过 1,000 小时视频、音频与语言所诱发 fMRI 响应上预训练的大型编码模型。对每个数据集，我们系统评估不同设置，展示图像解码器的性能如何随训练中合成数据量变化。基于两个数据集，即 7T fMRI Natural Scenes Dataset 和 3T fMRI BOLD5000，结果显示，相较只用真实数据训练的解码器，Top-10 图像检索准确率最高改善 68%。重要的是，达到给定图像解码性能所需的增强数据比例，需要依数据来源进行调整。出乎意料的是，完全在合成 fMRI 上训练的图像解码器在部分设置中仍高于机会水平，提示 TRIBE v2 可支持零样本 fMRI 到图像解码。这些结果表明，大规模视听与语言 fMRI 响应模型能够为提高图像解码的数据效率提供基础。