What Makes Linguistic Representations Good Models of High-Level Visual Perception in the Human Brain?

ABSTRACT

中文摘要

由语言模型表示的图像描述能够预测高阶视觉脑区对自然图像的响应，但究竟是什么因素驱动了这种预测能力仍不清楚。为此，作者系统研究了图像应当如何描述，以及应使用哪类语言模型对这些描述进行嵌入。针对同一组图像，研究构建了六种描述文本，包括人工标注和多种机器生成的描述；这些文本在若干内容与表达维度上存在差异。每种描述分别由五个语言模型表示，既包括以预测后续词为训练目标的自回归语言模型，也包括经过句子或文档级语义任务微调的文本嵌入模型。结果显示，机器生成的图像描述可以产生显著的脑预测性与脑—模型对齐，而且往往优于既有研究采用的人工描述。无论使用哪种描述类型，文本嵌入模型都持续优于自回归语言模型；同样的模式也出现在模型表征与人类图像相似性判断的行为对齐中。进一步分析不同网络层的描述表征发现，脑预测性和行为对齐都在网络中间层达到峰值，其位置略晚于通常被认为开始形成句法和语义结构的层。总体而言，图像描述所包含的内容以及用于表示描述的语言模型都会影响脑与行为建模性能，说明描述文本嵌入是研究高阶视觉知觉的一种有效工具。