NeuroWorld: A Latent Brain World Model for Stimulus-Conditioned Human Brain Dynamics

ABSTRACT

中文摘要

在人类经历自然情境时预测其脑活动，需要建立一种模型，用于描述内源神经状态如何在连续感觉输入驱动下按照因果顺序演化。现有脑编码模型通常把这一问题表述为从刺激到脑响应的回归，却没有施加严格的时间约束，因此可能允许未来刺激信息泄漏到对当前脑响应的预测中。作者提出 NeuroWorld；据其所知，这是首个脑世界模型。该模型把自然情境下脑功能动力学的预测表述为：在学习得到的潜在脑状态空间中，由刺激作为条件驱动脑状态演化，并通过两个阶段将以 fMRI 测量的内源状态与外源多模态刺激分离。第一阶段“潜在动力学学习”（Latent Dynamics Learning，LDL）不重建观测到的 fMRI 信号，而是通过预测下一个潜在状态，联合学习对状态转移充分的表征与具有因果时间约束的动力学。第二阶段“潜在滚动解码”（Latent Rollout Decoding，LRD）冻结 LDL，从一段已经观测到的 fMRI 前缀出发，以自回归方式向前滚动潜在状态，并将这些状态解码为被试特异的全脑响应。研究在三个自然电影 fMRI 基准上评估模型，共覆盖 30 名参与者；其中包括作者新采集的新加坡多模态成像与自然情境数据集 SG-MIND，该数据集包含 20 名参与者、8,519 个配对的刺激—响应片段和合计 140.7 人时的观看数据。在只允许模型以严格因果方式访问刺激的条件下，NeuroWorld 在多步滚动预测上取得当前最先进的性能，并且对长时间范围自回归漂移表现出更强稳健性，从而支持对延长脑状态轨迹进行可靠模拟。大量可解释性分析进一步刻画了学习到的动力学所呈现的功能组织，说明在潜在空间中进行世界建模可以成为对人脑活动开展因果预测的一种原则性框架。