ICLR 2026 × 脑科学

神经编码模型旨在预测自然图像诱发的 fMRI 脑响应。fMRI 数据以三维体素体积采集，每个体素具有明确的脑内空间位置。然而，传统编码模型通常把体积展平为一维向量，并将体素响应视作独立输出。这会移除空间上下文、丢弃解剖信息，并将模型绑定到被试特异的体素网格。我们提出神经响应函数 NRF，将 fMRI 活动建模为解剖空间上的连续函数，而非平坦的体素向量。给定图像和标准 MNI 空间中的坐标 (x,y,z)，NRF 预测该位置的响应。这一表述将预测与训练网格解耦，支持任意空间分辨率的查询和不依赖分辨率的分析。通过将模型锚定于解剖空间，NRF 利用脑响应的两个性质：第一，局部平滑性，即相邻体素表现出相似响应模式，连续建模能够捕捉这些相关并提高数据效率；第二，跨被试对齐，即 MNI 坐标统一不同个体的数据，使在一名被试上预训练的模型可以在新被试上微调。实验中，NRF 在被试内编码和跨被试适配上均优于基线，在大幅减少所需数据量的同时保持较高性能。据我们所知，NRF 是首个超越展平体素、学习图像到三维脑响应连续映射的解剖感知编码模型。

从人的 fMRI 脑记录重建其所见图像，为非侵入式观察人脑提供了一扇窗口。尽管扩散模型推动了近期进展，现有方法仍常缺乏对实际所见图像的忠实性。我们提出脑启发的方法 Brain-IT，通过脑交互 Transformer（BIT）实现功能相似脑体素簇之间的有效交互。这些功能簇由所有被试共享，作为整合同一大脑内部及不同大脑之间信息的构件。全部模型组件在体素簇与被试之间共享，从而能够利用有限数据高效训练。为了指导图像重建，BIT 预测两类互补的局部图像块特征：高层语义特征将扩散模型引向正确语义内容，低层结构特征则以正确的粗略图像布局初始化扩散过程。BIT 的设计使脑体素簇信息能够直接流向局部图像特征。基于这些原则，本方法能够忠实重建所见图像，在视觉质量与标准客观指标上均超越已有先进方法。此外，对于新被试，仅用一小时 fMRI 数据即可获得与已有方法使用完整四十小时记录时相当的结果。

被试无关脑解码旨在无需被试特异训练的条件下，从 fMRI 重建连续视觉体验，具有重要临床应用潜力。然而，跨被试泛化的困难与脑信号的复杂性使这一方向仍缺乏充分研究。我们提出 Visual Cortex Flow Architecture（VCFlow），一种新型层级解码框架，显式建模人类视觉系统的腹侧—背侧架构，以学习多维表征。通过解耦并利用早期视觉皮层、腹侧及背侧通路的特征，VCFlow 捕捉对视觉重建至关重要的多样且互补的认知信息。我们进一步引入特征级对比学习策略，增强被试不变语义表征的提取，从而提高其对此前未见被试的适用性。传统流程需要每名被试超过十二小时的数据和大量计算；相比之下，VCFlow 在平均准确率仅损失 7% 的情况下，无需任何重训即可在十秒内生成一段重建视频，提供了快速且可扩展的临床解决方案。

从 fMRI 信号重建视觉刺激，是连接机器学习与神经科学的核心挑战。近期基于扩散的方法通常把 fMRI 活动映射为单一神经嵌入，并在整个生成过程中将其作为静态引导。然而，这种固定引导会压缩层级神经信息，也不符合图像重建各阶段的不同需求。为此，我们提出 MindHier，一种基于尺度自回归建模、由粗到细的 fMRI 图像重建框架。MindHier 包含三个部分：提取多层神经嵌入的层级 fMRI 编码器；约束其与 CLIP 特征逐层对应的层级到层级对齐方案；以及在相应尺度向自回归过程注入这些嵌入的尺度感知、由粗到细神经引导策略。这些设计使模型先合成全局语义，再细化局部细节，形成类似人类视觉感知的层级重建过程，为扩散方法提供一种高效且具有认知对齐动机的替代方案。NSD 数据集上的广泛实验表明，MindHier 相较扩散基线具有更好的语义忠实度、4.67 倍的推理速度，以及更确定的结果。

理解大脑如何编码视觉信息，是神经科学与机器学习的核心挑战。一种有前景的方法是从功能磁共振成像信号重建视觉刺激，即图像。这包含两个阶段：将 fMRI 信号变换到潜空间，再用预训练生成模型从该空间重建图像。重建质量取决于潜空间与神经活动结构的相似程度，以及生成模型从该空间生成图像的能力。然而，哪类潜空间最支持这种变换，以及应如何组织它才能有效表达视觉刺激，仍不清楚。我们提出两项发现：第一，fMRI 信号与语言模型文本空间的相似性，高于与视觉空间或联合图文空间的相似性。第二，文本表征与生成模型应适配视觉刺激的组合性质，包括物体、详细属性与相互关系。基于这些认识，我们提出 PRISM，将 fMRI 信号投影到结构化文本空间，作为视觉刺激重建的中间表征。它包含以组合个体物体来降低物体检测错误的物体中心扩散模块，以及自动寻找最符合神经活动的关键属性和关系的搜索模块。真实数据集上的广泛实验表明，该框架优于已有方法，感知损失最多降低 6%。结果强调了利用结构化文本连接 fMRI 信号与图像重建的重要性。代码已公开。

面向 fMRI 时间序列的基础模型，有望预测疾病和认知相关表型。然而，现有模型通常在较小脑区上采用掩蔽并重建目标训练。对低层信息的聚焦使表征容易受到噪声和时间波动影响，下游任务因而需要大量微调。我们提出 Brain-Semantoks，一个专门学习脑动力学抽象表征的自监督框架。其架构包含两项核心创新：语义 tokenizer 将带噪区域信号聚合成表示功能网络的稳健 token；自蒸馏目标约束表征在时间上的稳定性。我们提出新的训练课程以稳定这一目标，确保模型能从低信噪比时间序列中稳健学习有意义特征。我们证明，学习到的表征即使仅使用线性探针，也能在多种下游任务上取得较强表现。此外，全面的规模分析表明，增加无标签数据能够在无需域适配的情况下，持续改善分布外表现。

学习稳健的 fMRI 表征，受到异质来源数据固有时间不规则性和噪声的根本挑战。现有自监督学习方法常通过离散化或平均 fMRI 信号，丢弃重要时间信息。为此，我们提出新框架，将自监督学习重新表述为随机最优控制（SOC）问题。该方法将脑活动建模为连续时间潜动力学，通过优化不依赖特定时间采样规则的控制策略，学习稳健的脑动力学表征。SOC 框架自然统一了掩蔽自编码（MAE）与联合嵌入预测（JEPA），提取紧凑、由控制导出的表征。此外，无需模拟的推理策略确保了面向大规模 fMRI 数据集的计算效率与可扩展性。模型在多种下游应用中取得先进表现，表明基于 SOC 的连续时间表征学习框架具有潜力。

神经科学与计算机视觉研究者通过模型—脑对齐基准比较人工与生物视觉系统。这些基准利用表征几何相似性或模型激活对神经响应的预测能力等度量对模型排序。然而，近期研究发现这些排序存在多种问题，尤其缺乏区分能力，从而引出模型“脑对齐”究竟意味着什么的问题。我们提出对齐模式，即每个脑区与其余脑区之间特有的功能关系轮廓，并主张合格的脑对齐模型应复现这些模式。首先，我们在 BOLD Moments 视频 fMRI 数据集的多个视觉 ROI 上，对广泛视觉模型应用标准基准流程，发现不同模型看似具有相同脑对齐程度，体现出传统基准区分能力不足。传统评价是逐点相似性检验，只评估模型与单个 ROI 是否对齐，因此容易受所选指标的不变性与缩放性质影响。相比之下，对齐模式分析（APA）是一种二阶结构一致性检验：对齐某 ROI 的模型，应复现该 ROI 特有的跨脑区对齐轮廓。应用这一检验后，我们发现，这些模式在不同被试的大脑之间高度稳定，但即使排名最高的模型也经常无法捕捉它们。看似等价的模型在关系标准下出现明显分化，证明 APA 增加了区分能力。最后，我们主张更清晰地区分模型作为工具与作为计算模型所需满足的条件。传统指标可能足以识别能预测神经活动的模型，但关于计算或算法相似性的主张需要更强证据，包括关系对齐模式的可复现性。

从非侵入式 EEG 解码复杂听觉体验是一个快速发展的领域，有望推动基础神经科学与人机交互。EEG 基础模型的近期进展产生了强大的神经表征，具有听觉解码潜力，但其有效性仍根本受限于声学刺激信息整合不足。特别是，神经信号与听觉输入缺乏深度耦合，限制了模型跨不同听觉任务泛化。为弥补这一缺口，我们提出多模态基础模型 MindMix，连接单模态 EEG 基础模型与任务特异听觉解码器。MindMix 采用两阶段训练：首先，在超过三千小时 EEG 上预训练高容量编码器，学习能够跨任务与被试迁移的通用特征；其次，利用超过一百小时配对数据，通过新提出的跨注意力低秩对齐模块学习神经—声学映射，实现细粒度跨模态信息整合。实验表明，MindMix 在听觉注意解码、听觉情绪识别和跨模态检索等任务上显著优于已有基线。本工作为多模态脑解码与听觉脑机接口提供基础，代码已公开。

大多数脑机接口研究关注将神经信号解码为行为或意图，相反方向的挑战——利用可控刺激引导脑活动——仍了解不足，视觉领域尤其如此。然而，设计能够稳定诱发目标神经响应的图像十分困难：主观状态缺乏清晰定量指标，EEG 反馈又带噪且不可微。我们提出 MindPilot，首个利用 EEG 信号作为优化反馈、引导自然图像生成的闭环框架。不同于局限于侵入式记录或低层闪烁刺激的既有工作，MindPilot 将非侵入式 EEG 与自然图像结合，把大脑视为黑箱函数，通过伪模型引导机制迭代细化图像，无需显式奖励或梯度。我们通过模拟与人体实验验证 MindPilot，展示高效语义目标检索、EEG 特征闭环优化，以及心理匹配与情绪调节任务中的人体被试验证。结果确立了 EEG 引导图像合成的可行性，为非侵入式闭环脑调控、双向脑机接口和神经信号引导的生成建模开辟方向。

EEG 为脑活动提供实时观察，并支持多种神经科学应用。尽管 EEG 基础模型有望解决任务特异模型的扩展性问题，当前方法学到的表征仍缺乏临床可解释性和判别力，难以高效捕捉全局依赖，并忽略重要的局部神经事件。我们提出两阶段 EEG 基础模型 CodeBrain。第一阶段引入 TFDual-Tokenizer，将异质的时间与频率 EEG 信号解耦为离散 token，以平方级方式扩展表示空间来增强判别能力，并通过提示与神经事件、频谱节律的潜在联系，提供领域特异的表征层可解释性。第二阶段提出多尺度 EEGSSM 架构，将结构化全局卷积与滑动窗口注意力结合，高效捕捉稀疏长程依赖和局部依赖，呼应脑的小世界拓扑。在规模最大的公开 EEG 语料上预训练后，CodeBrain 在八项下游任务、十个数据集的分布迁移下取得较强泛化表现，并得到全面消融、规模分析和可解释性评价支持。代码与预训练权重已公开。

基础模型近期成为学习可泛化 EEG 表征、服务脑机接口的一种有前景方法，但它们相对传统方法，尤其经典非神经方法的真实优势仍不清楚。我们在多种数据集、解码任务和六种评价协议下，对先进 EEG 基础模型进行全面基准评估，并使用严格统计检验。我们提出时空 EEGFormer（ST-EEGFormer），一个简单有效的 ViT 基线，仅通过超过八百万 EEG 片段上的掩蔽自编码预训练。结果表明，微调基础模型在数据丰富的群体水平设置中表现良好，但在数据稀缺场景下，经常无法显著超过紧凑神经网络，甚至经典非神经解码器。此外，线性探针始终较弱，不同下游任务的性能差异很大，神经解码网络之间也未观察到清晰的规模定律。这些结果暴露了预训练与下游微调之间的明显缺口，复杂预训练目标的收益往往因此削弱。我们进一步识别出影响表现的隐含架构因素，强调透明且统计严格的评价需求。总体而言，本研究呼吁共同建设大规模 EEG 数据集及公平、可复现基准，以推动 EEG 基础模型发展。

人脑是处理动态视觉输入最有效且最灵活的系统。比较深度视频模型与脑活动的表征，有助于理解高效视频加工的机制方案，从而改进脑科学理解与模型设计。现有模型—脑对齐工作主要关注 fMRI，细粒度动态加工仍有许多问题。我们首次开展大规模模型基准，将短自然视频的动态 EEG 记录与模型对齐。研究在时间整合、分类任务、架构与预训练等维度分析一百多个模型，提出跨时间表征相似性分析 CT-RSA，将时间展开的最佳模型特征与动态脑响应匹配，汇总一千万个对齐分数。结果揭示了脑整合连续视觉输入的新特征，超越从低层到高层表征的标准时间加工层级。最初与层级静态物体加工对齐后，后部电极响应最符合中层、整合时间的动作特征，并与特征出现时间高度对应；相反，额部电极响应最符合高层静态动作表征，与视频时间没有对应。此外，整合时间的状态空间模型与中间阶段后部活动的对齐更好，自监督预训练在此也有帮助。不同时间偏向不同模型类型，反映任务与时间整合偏好的变化，我们以动态混合专家作比喻。我们认为，单一最佳脑对齐模型需要能组合并动态切换这些能力的训练与架构。

扩大数据与人工神经网络规模推动了语言和视觉 AI 的突破，但类似原则是否适用于脑活动建模仍不清楚。我们利用来自 73 只小鼠、323 个 session、视觉皮层 310 万神经元的数据集，包含自然电影、图像、参数化刺激和行为期间记录的超过 1500 亿神经 token。我们训练多模态、多任务模型，在测试时灵活支持神经响应预测、行为解码、未来神经活动预测，或这三者的任意组合。OmniMouse 在几乎所有评价设置中优于专门基线，取得先进表现。我们发现，增加数据可以稳定改善性能，而扩大模型的收益会饱和。这与标准 AI 的规模叙事相反：语言与计算机视觉拥有海量数据，参数扩展成为主要驱动力；脑建模中，即使是相对简单的小鼠视觉皮层，尽管记录庞大，模型仍受数据限制。系统性规模变化还提示神经建模可能存在相变，更大、更多样的数据或许能够解锁性质不同的新能力，类似大型语言模型中观察到的涌现性质。代码已公开。