BrainVista: Modeling Naturalistic Brain Dynamics as Multimodal Next-Token Prediction

ABSTRACT

中文摘要

自然情境 fMRI 为连续多模态体验中的皮层动力学提供了具有时间分辨率的窗口；未来脑状态同时受内源神经上下文与外源感觉驱动支配。然而，预测这些动力学仍具有挑战：快速变化的刺激流必须与迟缓的血流动力学 BOLD 响应协调，同时皮层活动又组织在功能异质的脑网络中。为解决这些挑战，我们提出 BrainVista，一种用于已观测刺激条件下脑状态预测的多模态自回归框架。BrainVista 根据脑活动历史以及与各预测查询时间对齐的刺激 token，预测未来 fMRI 状态，从而无需访问未来真实 fMRI 状态便能执行自回归预测。该设计支持现实感觉刺激下具有因果时间顺序和时间一致性的自然脑动力学建模。具体而言，我们设计网络级 tokenizer 来构造具有功能结构的脑表征，用 Spatial Mixer Head 精化跨网络交互，并以 Stimulus-to-Brain 掩码保留时间上因果的刺激—脑条件关系，同时防止未来脑状态泄漏和刺激前瞻。我们在 Algonauts 2025、CineBrain 和 HAD 三个大型自然 fMRI 基准上评估长时程条件自回归预测。BrainVista 持续优于基线；在 Algonauts 2025 和 CineBrain 上，相较最强基线的模式相关分别相对提高 10.8% 和 9.4%。