Alignment of visual brain encoding models with individual perceptual similarity judgments

ABSTRACT

中文摘要

预测图像所诱发脑活动的编码模型，传统上以最大化对实测脑数据的预测准确率为训练目标。然而，其内部表征可能无法反映个体的人类感知。本研究考察能否通过微调脑编码模型，使其表征更贴近个人的相似性判断。我们利用 Natural Scenes Dataset（NSD）八名参与者对 100 幅图像的相似性判断，分别为每名参与者适配通用人类相似性判断模型 DreamSim，得到个性化感知相似性模型。随后，利用这些模型估计各参与者编码模型训练图像之间的个体特异相似性结构。在相同初始化与目标函数下，我们分别以通用或个性化相似性判断对齐每名参与者的基线编码器并进行微调。结果发现，基线脑编码器比实测 fMRI 响应更强地反映被试内感知相似性，并保留了实测 fMRI 中存在的被试间相关结构，却不能反映人类感知相似性判断的被试间相关结构。使用通用、群体水平感知相似性信息微调后，模型与人类判断的对齐优于基线，但仍无法捕捉人类判断的被试间相关结构。相比之下，使用个性化感知相似性信息微调得到的模型，与人类感知相似性判断最为一致，也能够反映人类判断的被试间相关结构。本框架提供了一种利用人类相似性判断数据，构建更个体化、更贴近人类的视觉脑编码模型的方法。