The Human Brain as a Dynamic Mixture of Expert Models in Video Understanding

ABSTRACT

中文摘要

人脑是处理动态视觉输入最有效且最灵活的系统。比较深度视频模型与脑活动的表征，有助于理解高效视频加工的机制方案，从而改进脑科学理解与模型设计。现有模型—脑对齐工作主要关注 fMRI，细粒度动态加工仍有许多问题。我们首次开展大规模模型基准，将短自然视频的动态 EEG 记录与模型对齐。研究在时间整合、分类任务、架构与预训练等维度分析一百多个模型，提出跨时间表征相似性分析 CT-RSA，将时间展开的最佳模型特征与动态脑响应匹配，汇总一千万个对齐分数。结果揭示了脑整合连续视觉输入的新特征，超越从低层到高层表征的标准时间加工层级。最初与层级静态物体加工对齐后，后部电极响应最符合中层、整合时间的动作特征，并与特征出现时间高度对应；相反，额部电极响应最符合高层静态动作表征，与视频时间没有对应。此外，整合时间的状态空间模型与中间阶段后部活动的对齐更好，自监督预训练在此也有帮助。不同时间偏向不同模型类型，反映任务与时间整合偏好的变化，我们以动态混合专家作比喻。我们认为，单一最佳脑对齐模型需要能组合并动态切换这些能力的训练与架构。