Predictor Construction Can Reverse Multimodal Neural Contrasts
Lucas Nadolskis, Galen Pogoncheff, Michael Beyeler
arXiv:2609.16430v1 · 2026-09-14 提交
ABSTRACT
中文摘要
研究者越来越多地使用基础模型特征来询问神经活动表征了什么，常见做法是比较嵌套编码模型之间的预测增益。作者证明，仅仅重新构造作为条件项的预测器，就可能使这种多模态神经对比改变符号。研究使用 Natural Scenes Dataset 的 fMRI、DINOv2 视觉特征，以及来自 MS COCO captions 和 Localized Narratives 的 MPNet 文本嵌入，比较短图像标题与较长叙述在控制视觉预测后的额外贡献。在 Places ROI 中，当一个短标题与一个长叙述直接比较时，标题—叙述对比偏向叙述，两个被试的效应分别为 +0.012 和 +0.015；但在近似匹配词数后，对比反而偏向标题，分别变为 −0.031 和 −0.023。该变化出现在两个被试的所有测量 ROI 中，主要由纯语言模型预测差异驱动。在若干 ROI 中，即使移除图像特异的内容词身份，相似对比仍然存在。结果说明，嵌套神经编码模型的增益对比本身不能唯一识别大脑表征的内容；预测器如何构造属于实验设计的一部分，表征性结论必须依赖匹配良好的控制条件。
RESEARCH RELEVANCE
与你研究的关系
论文事实：在 NSD 的两个被试中，仅将短 caption 与长 narrative 改为近似词数匹配，就使所有测量 ROI 的多模态增益对比发生符号反转。研究推断：你使用 CLIP 图像/文本方向解释 ROI 或反事实效应时，应把文本长度、内容词身份、语义密度和语言模型单独预测力纳入匹配或残差化；否则所谓‘更偏视觉’或‘更偏语言’的结论可能只是预测器构造造成的。
LIMITATIONS
局限与核查重点
目前是未经同行评审的预印本，只分析 NSD 中两个被试，且核心结果基于特定的 DINOv2、MPNet、caption 和 narrative 构造。符号反转证明了现有对比的不充分性，但没有给出一个在所有数据和基础模型上都有效的唯一修正方案。词数匹配也不能自动匹配信息量、句法复杂度或图像可辨识性。
SOURCE
来源与原文
arXiv:2609.16430v1 · 2026-09-14 提交
Lucas Nadolskis, Galen Pogoncheff, Michael Beyeler. Predictor Construction Can Reverse Multimodal Neural Contrasts. arXiv:2609.16430v1 · 2026-09-14 提交. https://arxiv.org/abs/2609.16430