Brain-Aligned Multi-Stream Video Transformers with Sparse Self-Selection

ABSTRACT

中文摘要

现代视频 Transformer 通常忽略灵长类视觉系统的组织原则，也很少使用神经数据进行评估，因此其生物可解释性受到限制。作者提出一种稀疏的胜者全得 token 选择模块，以其替代密集自注意力，从而提高效率，并近似生物视觉回路中观察到的竞争性路由。研究进一步提出受神经科学启发的分流—融合视频 Transformer：一条通路以高空间分辨率和低帧率处理“是什么”信息，另一条通路以低空间分辨率和高帧率处理“在哪里”信息，两条通路在分类前融合。在 Kinetics-400 和 Something-Something V2 上，最佳模型在相同规模和预训练条件的模型中处于准确率—推理时间的 Pareto 前沿，并且对空间扰动表现出更强鲁棒性。作者随后把模型嵌入与观看相同视频刺激时记录的时间分辨 EEG 进行表征相似性分析。该模型的脑—模型相关峰值达到 0.18，约为噪声上限的 78%，并持续优于强视频 Transformer 基线。结果表明，通路专门化和稀疏竞争可能是同时提高视频理解效率与神经对齐程度的有效归纳偏置。