Future Video Generation Better Aligns with the Human Visual Cortex than Observed Video

ABSTRACT

中文摘要

将视觉模型内部表征与人类观看同一刺激时的视觉皮层响应进行对齐，已经成为理解视觉加工的重要方法。然而，既有研究通常只比较大脑对已观察刺激的表征，较少考虑大脑还会依据当前输入预测即将发生的视觉事件。作者假设，用于生成未来视频帧的内部表征，比仅表示已观察视频的特征更符合人类视觉加工的预测性质。研究比较十名被试观看 1,102 段三秒自然视频时的 fMRI 响应，以及两类视频扩散模型的内部表征：一个自回归视频模型和其非自回归基础模型。模型内比较显示，自回归模型用于未来视频生成的表征比已观察视频表征更好地对齐视觉皮层；跨模型比较同样显示，未来生成表征优于非自回归模型用于重建已观察视频的表征。已观察视频重建的独特解释力主要集中在低级视觉皮层，而未来视频生成的独特贡献向高级视觉皮层增强。最后，作者逐层放大视频扩散模型中的生成贡献并开展偏好实验，发现五名观察者更偏好由神经对齐程度更高的模型层引导生成的视频。