NeurIPS 2026 × 脑科学

任务优化神经网络的进展，使编码模型成为预测自然刺激所诱发脑响应的有力工具，但现有方法大多依赖单模态表征。全模态基础模型与丰富多模态神经数据集的出现，使跨被试联合整合视觉、听觉和语言信息的共享编码模型成为可能。我们提出 MIRAGE，一种预测带有配对转录文本的自然视听刺激所诱发全脑 fMRI 响应的脑编码框架。MIRAGE 通过三个模态特异的交叉注意力模块，从单个预训练全模态主干中提取表征；模块的潜在查询自适应聚合主干 48 层的特征，再通过基于 Transformer 的脑编码器和皮层分区上的被试特异线性头进行组合。在 Algonauts 基准的分布外数据集上，MIRAGE 取得最先进结果。受控比较表明，在不同架构层级和主干中，原生多模态融合，即从同一个联合训练模型中提取特征，都持续优于对独立提取的单模态流进行事后融合。除预测准确率外，学习到的注意力权重可直接检查：各模态门控模块发现不同的主干深度分布，各模态也在皮层上呈现不同、具有解剖结构的模式。这些结果表明，对原生多模态特征进行自适应逐层聚合，是一种更可泛化、更可解释且更准确的全脑编码方法。

连接脑活动与视觉感知的计算表征，是神经科学与机器学习交叉领域的核心目标。然而，fMRI 跨被试解码仍具有挑战，因为不同个体的神经响应差异显著，而现有方法经常依赖被试特异微调或参数量庞大的解码器。这限制了对未见被试的泛化，也妨碍高效部署。我们提出 BrainTC，即 Brain Tensor Cores，一种基于共享张量分解的轻量级跨被试脑视觉解码框架。BrainTC 通过共享张量核心对齐模块，把共享功能结构与被试特异变异分离：该模块利用共享张量基和被试残差因子，将各 ROI 的响应映射到共同功能空间。它既支持未见被试的零样本解码，也支持只更新残差参数的少样本适配。随后，我们开发采用张量化注意力的 Brain Tensor-Transformer，以紧凑地建模 ROI 间依赖，并结合分层神经到视觉映射模块进行多层次视觉预测。实验表明，BrainTC 在显著提高参数效率的同时，取得有竞争力的跨被试解码性能，尤其改善了对未见被试的零样本泛化。

神经解码的近期进展，使从功能磁共振成像（fMRI）信号重建三维视觉内容成为可能，为脑条件三维生成开辟了路径。然而，现有方法主要依赖语义或多视角先验，没有显式建模三维几何约束，因而经常产生结构扭曲并降低几何保真度。为解决这一局限，我们提出 MindShape，一种面向 fMRI 条件三维重建的几何感知神经解码框架。不同于以往方法，MindShape 将超二次曲面几何解码为显式、低维的结构约束，并以几何基元和语义描述共同条件化三维生成过程，从而产生语义一致、几何忠实的重建。实验表明，MindShape 在几何一致性和语义保真度方面优于现有基线。这些结果提示，显式几何基元能够在带噪神经测量与可控三维生成之间提供有效的结构化接口。

从脑活动重建音频仍然具有挑战。一个关键局限是，当前音频扩散模型主要为文本条件设计，缺少接入神经响应等非语言连续信号的机制。尽管视觉领域近期已探索直接以脑活动为条件，但这一方法尚未扩展到音频扩散模型。我们提出一种直接利用 fMRI 信号引导潜在音频扩散模型的框架，在条件化阶段避免中间特征预测。方法的核心是一个与 Transformer 兼容的适配器，使非语言表征能够整合进扩散 Transformer（DiT）的交叉注意力层。尽管其动机来自神经解码，这一适配器提供了以任意连续输入条件化音频扩散模型的通用机制，并不局限于神经信号。我们在声学与语义评价指标上，均展示了相较基线的持续改善，基线包括两阶段 fMRI 到潜在条件的方法。此外，我们引入以听觉神经加工计算模型为基础的保真度指标，从而量化不同听觉皮层区域对重建音频表征的贡献。

脑解码受到带标签神经数据可获得性的限制，在低数据条件下尤其困难。为解决这一问题，我们研究：利用预训练刺激到 fMRI 响应模型产生的合成数据扩充小型 fMRI 数据集，能否以及何时改善脑解码。我们使用 TRIBE v2，它是一个在超过 1,000 小时视频、音频与语言所诱发 fMRI 响应上预训练的大型编码模型。对每个数据集，我们系统评估不同设置，展示图像解码器的性能如何随训练中合成数据量变化。基于两个数据集，即 7T fMRI Natural Scenes Dataset 和 3T fMRI BOLD5000，结果显示，相较只用真实数据训练的解码器，Top-10 图像检索准确率最高改善 68%。重要的是，达到给定图像解码性能所需的增强数据比例，需要依数据来源进行调整。出乎意料的是，完全在合成 fMRI 上训练的图像解码器在部分设置中仍高于机会水平，提示 TRIBE v2 可支持零样本 fMRI 到图像解码。这些结果表明，大规模视听与语言 fMRI 响应模型能够为提高图像解码的数据效率提供基础。

从功能磁共振成像（fMRI）解码认知功能与脑疾病，是神经科学的一项基础问题；近年来深度学习推动了任务态与静息态场景的发展。现有区域级解码器通过 ROI 感知的图或 Transformer 架构捕捉空间结构，却在所有区域使用统一时间算子，因而没有显式建模不同皮层区域如何在异质时间尺度上整合信息。我们提出 CoRTeX，一种面向 fMRI 的区域分辨循环架构，每个皮层区域拥有独立可学习参数，并按自身学得的时间尺度演化。其核心是每区域可微时间积分窗，通过私有缓冲区上的软掩码，允许各 ROI 学习应向过去整合多长时间的信息。跨区域信息被限制在单个身份感知注意力通道中，并受到共激活驱动记忆的额外偏置；记忆的学习与遗忘速率也各自依赖区域。在任务态 fMRI 的 NSD 刺激分类和 ABIDE、COBRE 两个静息态疾病诊断任务上，CoRTeX 与强基线取得有竞争力的表现，同时支持对于单元可交换模型并不明确定义的区域级分析：学习到的各区域时间尺度呈现可解释空间组织，类别特异区域归因与类别选择性皮层对应。代码已提供。

自然情境 fMRI 为连续多模态体验中的皮层动力学提供了具有时间分辨率的窗口；未来脑状态同时受内源神经上下文与外源感觉驱动支配。然而，预测这些动力学仍具有挑战：快速变化的刺激流必须与迟缓的血流动力学 BOLD 响应协调，同时皮层活动又组织在功能异质的脑网络中。为解决这些挑战，我们提出 BrainVista，一种用于已观测刺激条件下脑状态预测的多模态自回归框架。BrainVista 根据脑活动历史以及与各预测查询时间对齐的刺激 token，预测未来 fMRI 状态，从而无需访问未来真实 fMRI 状态便能执行自回归预测。该设计支持现实感觉刺激下具有因果时间顺序和时间一致性的自然脑动力学建模。具体而言，我们设计网络级 tokenizer 来构造具有功能结构的脑表征，用 Spatial Mixer Head 精化跨网络交互，并以 Stimulus-to-Brain 掩码保留时间上因果的刺激—脑条件关系，同时防止未来脑状态泄漏和刺激前瞻。我们在 Algonauts 2025、CineBrain 和 HAD 三个大型自然 fMRI 基准上评估长时程条件自回归预测。BrainVista 持续优于基线；在 Algonauts 2025 和 CineBrain 上，相较最强基线的模式相关分别相对提高 10.8% 和 9.4%。

全脑四维 fMRI 生成对建模功能脑动力学具有价值，但现有 fMRI 基础模型主要面向表征学习和下游预测，而非条件预测式生成。我们提出 BrainWorld，一种以结构先验为条件的全脑四维 fMRI 动力学生成模型。BrainWorld 使用结构 MRI 作为被试级解剖上下文，引导未来 fMRI 生成；结构信息被整合进去噪过程，而不是作为平行模态处理。在覆盖不同队列和脑状态的 22 个数据集上评估时，BrainWorld 能生成长达 400 帧的稳定四维 fMRI 轨迹，通过生成样本增强改善下游表现，并学得优于基线的可迁移多模态表征。这些结果确立了一个具有条件感知能力、用于长时程脑动力学建模和多模态表征学习的生成框架。

我们提出 HBAR（Hierarchical Brain Activity Representation），一种用于学习紧凑、多尺度神经影像表征的层级 token 化框架。HBAR 将体素级静息态 fMRI 组织为跨越分区内体素组、脑区分区与大尺度功能网络的层级结构，实现约 415 倍压缩，同时保留超出传统分区方法的精细空间信息。该框架支持固定图谱、完全学习和软先验引导的层级，使我们能够系统研究结构先验在脑表征学习中的作用。在大规模 fMRI 数据上评估时，HBAR 相较分区方法和单尺度 token 化基线显著改善重建，并支持脑动力学建模及性别分类等人口学预测下游任务。在重建与下游评估中，图谱引导层级具有最强的总体表现，提示既有功能图谱编码了仅凭重建仍难以恢复的组织结构。通过结合体素级保真度、紧凑离散 token 和多尺度脑结构，HBAR 为高维神经影像表征学习提供了一个实用框架。

视觉心理意象（VMI）解码利用脑活动重建内部生成的视觉场景，为外化内部体验和发展神经假体交流接口提供潜在路径。然而，该领域的发展受到缺少专门、足以支持训练规模的 VMI 数据集的限制。当前 VMI 范式往往依赖视觉提示或短时记忆图像，引入视觉与记忆混杂，难以区分内源图像构建所对应的神经活动与先前或同期视觉输入驱动的信号。此外，现有 VMI 数据集对个别视觉属性的描述控制有限，难以系统评价精细视觉细节。为填补这些空缺，我们提出 AVID，首个专门用于听觉诱导 VMI 解码、达到训练规模的 5.0T 功能磁共振成像资源。我们进一步围绕 AVID 定义固定划分、预定义神经输入与标准化评价协议的基准。AVID 采用高场 5T fMRI 采集，包含九名参与者约 67 小时密集记录。数据集具有两个互补划分：使用自然中文描述的场景级复杂划分，以及明确规定视觉属性的受控简单划分。我们进一步制定标准化评价协议，将源图像一致性与语义对齐分离，以更细致地评估意象重建。基线的定性和定量结果表明，当前重建流程在 AVID 上仍受明显限制，但较成功的重建能够保留口头描述中可辨认的场景级语义。通过结合专门的训练规模神经记录和标准化评价资源，AVID 为想象特异模型开发提供数据基础，也为大幅减少感觉污染的 VMI 解码提供基准。

将视觉脑活动翻译为自然语言，为理解人类认知与神经语义表征提供了有力窗口。以往多数脑图像描述方法依赖配对监督，把 fMRI 信号投影到语言空间。然而，广泛使用的 Natural Scenes Dataset（NSD）仅基于图像—fMRI 配对构建，现有方法却把 MS-COCO 描述作为间接文本监督。关键问题是，在 fMRI 采集期间，参与者只观察裁剪后的图像区域，而关联的 MS-COCO 描述却对应完整场景。这个不匹配在神经表征与文本监督之间造成根本差距，给基于 NSD 的脑图像描述引入固有的语义损失。为缓解这一问题，我们将脑图像描述重新定义为神经落地的视觉描述，使语言直接根据视觉落地的神经证据生成，而非依赖文本监督。我们提出 MindVLM，把 fMRI 映射到具有被试感知能力的视觉 token，并利用冻结视觉语言模型（VLM）产生可解释、个性化描述。MindVLM 不采用逐点回归，而重点提取脑活动中语义相关的视觉线索，自然适应部分可观察性与个体差异。NSD 上的大量实验表明，在 LLaVA-v1.5、Qwen2.5-VL 和 Gemma3 等多个 VLM 主干上，MindVLM 持续改善描述质量，且超过模型内在先验。尽管训练既不需要文本监督也不需要 LLM，并采用与传统描述方法不同的图像落地推理范式，MindVLM 仍与监督方法具有竞争力，提示被试特异神经落地为忠实脑到语言生成提供了高效、可扩展、可解释的路径。

Cephalonauts One 是一个全脑 3T 功能磁共振成像（fMRI）数据集，在被试听音频播客时采集。三名健康被试接受多次扫描，每次 session 包含五个 15 分钟 run，期间收听母语播客。当前版本为每名被试分别提供 14、20 和 17 小时 fMRI 数据，使它成为可用自然语音刺激数据集中单被试记录最深入的资源之一。该数据集把脑活动与对应播客音频、转录标注以及派生刺激嵌入配对。此外，我们提出一个以音频片段检索表述的脑解码基准：给定来自留出 session 的 fMRI 活动，解码器必须从候选片段中识别对应的时间对齐播客音频片段。我们为此任务提供标准化划分、评价指标和基线解码器。最后，规模分析表明，解码性能随着每名被试训练数据量增加而持续改善。数据与代码已公开。

近期 fMRI 基础模型在表征脑活动的空间尺度上存在显著差异。基于 ROI 和连接性的模型高效但粗糙，体素级模型保留精细空间结构，却需要专门架构和昂贵的 fMRI 特异预训练。我们研究，这种性能差距是否部分反映保留皮层几何的重要性。受宏观脑活动受到脑几何强约束这一证据启发，我们提出 FlatClip，一个无需训练的表面级基线：它将皮层活动渲染成具有几何感知能力的平展图序列，复用冻结 SigLIP2 图像编码器，并只配合轻量下游探针。由于 FlatClip 未在 fMRI 上预训练，它提供了一个域外参照，用于评估不依赖 fMRI 特异预训练数据时，可从皮层几何中恢复多少信息。在静息态和视觉 fMRI 基准上，FlatClip 优于 ROI／功能连接风格的控制及多个通用 fMRI 基础基线，而体素级模型仍构成较强的上层比较。几何控制实验表明，破坏皮层拓扑会降低性能；把 ROI 级信号重新映射回图谱定义的四维体积能够部分恢复性能，但仍低于完整体素输入。这些结果将皮层几何确立为 fMRI 表征学习的重要因素，并使表面级平展图序列成为 ROI 与体素模型之间实用的中间层基线。

基于大型语言模型特征的自然语言编码模型能够较好预测皮层响应，但其学习到的表征仍难解释。三个挑战尤其关键：在高维、相关特征空间中，语义选择性根本上不可辨识；皮层组织仍隐含在逐体素权重图内；跨被试结构通常只在模型拟合后处理。我们提出一个多被试耦合稀疏自编码器，联合重建语言模型特征并预测被试特异脑响应，学习语义—皮层原子的稀疏基，使语义结构、皮层组织与跨被试对应在单一模型中显式呈现。在自然故事聆听 fMRI 上，模型使用 50 个原子、每个 TR 仅激活五个原子，仍保留匹配的稠密特征岭回归模型 88% 的脑预测性能。相较匹配的两阶段基线，联合训练在预测与可解释性之间取得最强的总体权衡。学习到的原子语义连贯且可解释，相较标准事后编码模型分析，恢复出更可复现的跨被试脑图谱，与 Yeo 7 和 Neurosynth 的大尺度皮层结构对齐，并在低数据条件下比岭回归更好迁移到留出被试。通过连接语义特征与多个被试的对应皮层响应模式，该框架为语义到脑编码的认知神经科学分析提供了更可解释的基底。

脑基础模型在广泛神经科学任务中取得显著进展。然而，多数现有模型局限于单一功能模态，限制了对不同神经影像技术互补时空动力学及汇总数据规模的利用。这一局限主要来自模态之间严重的语义异质性和分辨率差异。为解决这些问题，我们提出 Brain-OF，一种在 fMRI、EEG 和 MEG 上联合预训练的全功能脑基础模型，能够在统一框架中处理单模态和多模态输入。为协调异质时空分辨率，我们引入任意分辨率神经信号采样器，把多样脑信号投影到共享语义空间。为进一步处理语义偏移，Brain-OF 主干整合 DINT 注意力与稀疏混合专家：共享专家捕捉模态不变表征，路由专家专注于模态特异语义。此外，为通过自监督学习显式内化神经活动特性，我们提出掩码时间—频率建模，一种同时在时间和频率两个域重建脑信号的双域预训练目标。Brain-OF 在约 40 个数据集构成的大规模语料上预训练，在多样下游任务中展示优越表现，凸显联合多模态整合与双域预训练的益处。作者表示代码将在接收后公开。

神经科学家近年来转向皮层脑电图（ECoG）等颅内脑记录方法开展人体实验，因为这些方法具有精细的时空分辨率。然而，基于这类数据训练的模型，根本上受到能够接受必要植入记录装置的患者群体规模限制。我们提出利用非侵入式 fMRI 弥补训练数据缺口。使用在 fMRI 上微调的口语语言表征，我们构建 ECoG 编码模型。尽管 fMRI 时间分辨率差了两个数量级，这些表征仍改善了 ECoG 的预测性能，且预测改善出现在远超 fMRI 直接测量范围的频带中。接着，为测试该流程的泛化能力，我们用时间上进一步下采样两倍的 fMRI 响应微调模型。尽管分辨率损失，这些模型仍以与原始 fMRI 微调模型相当的水平预测 fMRI 和 ECoG 响应。最后，我们表明，ECoG 性能随着 fMRI 微调数据量增加而稳定提升。结果显示，fMRI 这样的“慢”数据可以成为构建更好“快”脑数据模型的宝贵资源。未来，整合多种记录方法或可进一步改善解码等其他应用。

EEG 基础模型为脑机接口学习可迁移表征，但现有方法把任务和标签视为离散目标，没有利用自然语言任务指令的语义结构引导表征学习。我们提出 LEAF，一种通过语义任务指令与查询实现 EEG—语言对齐的基础模型。LEAF 整合任务感知语义引导，产生具有结构并与语言对齐的 EEG 嵌入，从而增强解码稳健性与迁移能力。在 EEG 预训练阶段，我们引入联合频谱—时间重建（STR）框架，捕捉 EEG 频谱节律与时间动力学之间的耦合。STR 通过随机频谱扰动增强频率稳健性，并使用两个互补时间目标学习上下文与序列结构。在 EEG—语言对齐阶段，我们提出指令条件 Q-Former（IQF）。这一基于查询的交叉注意力 Transformer，把指令嵌入注入 EEG token，再通过可学习查询与文本标签嵌入实现语义对齐。我们在 16 个下游数据集上评估 LEAF，涵盖运动想象、情绪识别、稳态视觉诱发电位、隐语和医疗任务。LEAF 在其中 12 个数据集上达到最先进性能，并在五类任务中均取得最佳平均结果。重要的是，作者的分析首次揭示，显式任务指令作为语义先验，引导 EEG 嵌入进入连贯且具有语言落地的空间。代码已提供。

EEG 基础模型在临床任务上取得最先进性能，但驱动预测的内部计算仍不透明，成为临床信任的障碍。我们在 SleepFM、REVE 和 LaBraM 三种架构不同的 EEG Transformer 上应用 TopK 稀疏自编码器（SAE），从嵌入中提取稀疏特征字典。通过将特征落地到异常、年龄、性别和用药等临床分类体系，我们跨架构比较单语义性与纠缠。一套由字典内部健康审计驱动的超参数程序，能够稳健迁移到全部三个架构。通过概念操控，我们提出“目标相对非目标”的探针面积指标，量化操控选择性，并揭示三个操作区间：可选择操控、已编码但纠缠、以及未编码。该框架暴露了关键表征失败，包括导致模型总体性能崩溃的“破坏球”式干预，以及年龄—病理混杂等临床纠缠，即无法在不破坏另一个概念的情况下抑制某概念。最后，频谱解码器把这些干预映射回幅度谱，将潜在操控转换为具有生理可解释性的频率特征，例如病理慢波抑制与 alpha 频段恢复。

从非侵入式脑信号解码视觉内容仍然具有挑战，因为神经响应随时间演化，而图像通常是静态的。多数现有方法把整个神经响应窗口对齐到单一最终视觉嵌入，忽略了根本的表征不匹配：脑信号同时反映早期感知和晚期整合表征，而最终视觉嵌入偏向高层语义。因此，我们提出 BRIDGE，一种通过视觉深度编码和脑信号粒度编码对齐两种模态的脑—视觉表征整合框架。在视觉侧，BRIDGE 提取并融合 CLIP 不同深度的表征，产生保留低层和高层信息的对齐目标。在脑信号侧，BRIDGE 不把整个时间窗视为同质、从而掩盖时间异质性，而是显式把刺激诱发的 EEG／MEG 响应划分为少量按时间排序的阶段，再自适应池化。所得脑和视觉嵌入通过对比学习在共享潜空间内训练，并可通过预训练扩散先验进一步支持脑到图像生成。在 THINGS-EEG 和 THINGS-MEG 上的实验表明，BRIDGE 取得较强的检索与生成表现。消融研究进一步确认，按深度聚合视觉特征和按时间分解脑信号具有互补收益。

EEG 基础模型能够从大规模 EEG 语料学习可泛化表征，使单一主干迁移到不同临床和脑机接口任务。现有模型通常将连续多通道 EEG 波形离散化为 patch 或码本 token，再以掩码自监督训练 Transformer。认识到这种离散化会割裂连续脑节律、掩盖精细时间动力学，我们提出 B[FM]²，即通过流匹配构建的脑基础模型。该模型放弃离散化，使用连续时间流匹配直接在原始信号上预训练，不采用 patch、token 化或掩码。然而，多通道 EEG 给流匹配带来架构挑战：时间轴采样密集且高度自相关，包含数千时间点；电极轴则很短，只有分布于不同头皮位置的数十通道。为解决时间—电极不对称性，我们提出速度网络 SplitUNet，把每个模块分解为独立的一维时间卷积和一维电极卷积，并只沿时间降采样，在整个层级中保留电极拓扑。B[FM]² 在九项标准 EEG 下游分类任务中的七项取得最先进表现，预训练仅使用 36,895 个片段，约 307 小时，相当于现有 EEG 基础模型所需预算的约 3.3%。它还生成两名具备专科认证的神经科医生无法与真实 EEG 区分的合成 EEG，Cohen's κ 为 −0.096。

EEG 基础模型在学习可迁移表征方面展示了潜力，但现有方法把 EEG 作为通用时间序列，忽视了神经信号分析中至关重要的空间协方差结构的黎曼几何。我们提出 MENDR（Manifold-Embedded Neural Data Representations），首个通过矩阵对数与 Log-Euclidean 切空间，把这种几何直接嵌入架构而非仅从数据学习的 EEG 基础模型。MENDR 使用可微矩阵对数，将窗口协方差矩阵嵌入 Log-Euclidean 切空间，使标准 Transformer 操作在几何上等价于黎曼操作。基于 Perceiver 式交叉注意力的通道无关空间投影，使模型能在 6 到 64 通道的电极配置之间无缝迁移。MENDR 使用切空间中的掩码自编码目标，在 Temple University Hospital EEG Corpus 的超过 4,000 小时、14,987 名被试数据上预训练。它仅用 120 万参数，便在六项下游基准中的三项——TUAB 异常、TUEV 事件和 CHB-MIT 癫痫——取得最先进结果，参数量比竞争基础模型最多减少 42 倍。

临床 EEG 分析依赖经过数十年完善的人工特征目录，例如频带功率、连接性、复杂度等。现代 EEG 基础模型绕过这个目录，通过自监督预训练直接从原始信号学习，并在多数临床基准上达到或超过特征工程基线。两种表征是否一致仍是开放问题，我们把它分解为三个子问题：模型学到了什么、模型使用了什么，以及有多少能够被解释。我们通过逐层岭回归探针、LEACE 式交叉协方差子空间擦除，以及与随机特征基线比较的透明分类器来回答这些问题。审计覆盖 CSBrain、CBraMod、LaBraM 三种基础模型，MDD、Stress、ISRUC-Sleep、TUSL、Siena 五项临床任务，以及六类 63 项特征词典。在 945 个模型—任务—特征单元中，648 个（68.6%）被归为表征因果，199 个（21.1%）仅被编码。跨任务共有 50 项特征被列为通用候选，它们在至少两项任务中获得全部三种架构的强支持。频域特征占主导，但其余五类也各自贡献了实质性的因果份额。已确认特征平均恢复了基础模型相对随机基线优势的 79.3%，且呈清晰任务梯度：MDD 约为 0.99，Stress 约为 0.56。接近性能上限的任务几乎可完全由词典恢复，而较难任务留下了不可忽略的残余，为未来概念发现指出具体目标。