Brain-Aligned Multimodal LLMs for Social and Emotional Understanding of Cartoon Movies

ABSTRACT

中文摘要

多模态大型语言模型（MLLM）能够规模化标注社会性与情感内容，但其与人类判断在时间上的一致性，以及对神经活动的预测价值，仍需要进一步评估。我们在三部动画短片上，比较基于扩散和自回归的 MLLM 与人类连续心理理论（ToM）及情感效价评分。行为分析评估时间对齐的 Pearson 相关、评分分布，以及加入此前场景描述的影响。各来源的评分分别被用于被试特异回归模型，以预测区域 fMRI 响应。尽管存在系统性的分布差异，模型评分仍捕捉了人类评分随时间变化的部分特征；总体而言，效价的一致性高于 ToM。此前上下文在部分条件下改善了对齐，但效果依赖模型与电影。在《The Present》中，MLLM 评分产生显著编码效果的脑区多于人类评分，而另外两部电影的效果更有限。不同评分来源之间的空间重叠主要出现在 MLLM 之间；人类与模型评分之间的重叠有限，主要涉及视觉、背侧注意及后部默认模式脑区。这些发现支持将 MLLM 用作规模化生成可预测脑活动的社会与情感内容标注工具，同时也强调其评分存在系统差异，且与人类判断的对齐依赖模型与刺激。