CVPR 2026 × 脑科学

BrainGS 面向三维视觉刺激的脑解码，使用融合时空网络编码 fMRI 与 EEG，再以多属性控制器把视觉、语义和颜色作为锚点解耦脑表征，并用多视角稳定器约束不同观察视角之间的一致性，最终驱动 3D Gaussian Splatting 重建三维物体。作者报告其在定性与定量评估中取得更真实且一致的结果。

跨被试脑解码通常依赖精细的解剖或功能对齐，并需要目标被试的配对训练数据。BrainCoDec 将这一问题改写为上下文学习：元训练阶段让模型从少量示例中推断新被试的信号—语义映射，测试时只通过上下文样例完成适应，不更新模型参数。框架面向不同被试、数据集和扫描仪，强调在没有刺激重叠和显式脑区对齐的条件下迁移视觉解码能力。实验从跨被试、跨数据集与跨扫描设置评估训练外泛化，说明元学习可把个体适配从参数微调转化为推理时的条件建模。

视觉神经编码与解码常被当作两个独立问题训练，导致模型难以利用两者互补约束。NeuroFlow 先通过 NeuroVAE 学习紧凑神经潜变量，再使用跨模态流匹配建立视觉与脑活动之间的双向连续映射，从而在统一框架内支持图像预测脑响应和脑响应重建图像。联合训练使编码方向提供的结构约束反哺解码，也使解码结果可以反向检验编码表征。作者在视觉脑数据上比较专用单向模型与统一模型，报告联合建模在编码和解码指标上均具有竞争力。

fMRI 数据跨研究存在空间、任务和语义标注差异，阻碍统一模型训练。fMRI-LM 构建可适应异质扫描的脑信号 tokenizer，将 fMRI 表示映射到语言语义空间，再结合大语言模型和指令微调统一处理多类理解任务。预训练规模超过五万次扫描，覆盖不同数据来源与认知范式；评估关注跨任务迁移、少样本适配和语言条件下的脑活动理解。该工作把 fMRI 基础模型从固定标签预测推进到可用自然语言定义任务和输出的通用接口。

现有视觉脑解码数据多为静态图像或单一脑信号模态，难以研究连续视听感知。CineBrain 提供约六小时自然视听刺激下同步采集的 fMRI 与 EEG 数据，并保留视频、音频和脑响应的时间对应关系。作者进一步提出 CineSync，用于联合建模 fMRI 的空间信息、EEG 的时间动态和视听语义，以支持脑条件视频生成与跨模态检索。数据集和基线强调自然场景、长时间序列以及两类脑信号互补信息。

BrainSSD 面向 EEG 到三维视觉内容的解码，针对 EEG 同时包含稳定频带模式与快速时间变化这一特点，分别学习静态和动态表征，并通过协同融合模块将两者对齐到三维视觉语义。模型使用面向跨层特征交互的融合机制，把神经表示送入三维感知或生成模块。实验比较单一静态、单一动态与协同表示，显示两类信息互补，有助于提高三维内容的语义与结构恢复。

EEG 到图像重建同时面临低信噪比、频带差异和生成细节不稳定。D2-FOSA 设计面向频率结构的神经编码模块，提取不同频带及其时序交互，并将其对齐到视觉—语言语义空间。生成阶段采用双扩散引导，使一个分支强调全局语义一致性，另一个分支补充视觉细节，减少只依赖单一嵌入时的语义漂移。作者在 EEG 视觉重建基准上从检索、语义和图像质量等维度评估各模块。

直接把 fMRI 体素切成规则 patch 会忽略脑区的功能与解剖边界。ROITok 以 ROI 作为结构单元组织神经 token，并在预训练中建模脑区内部模式和脑区间依赖，使表示既保留局部功能结构，又可跨被试与任务迁移。作者在多类 fMRI 下游任务上比较规则 token、图谱特征和 ROI 引导模型，并通过注意与表征分析考察模型是否学习到可解释的脑区关系。

脑—视觉对齐若只学习单向映射，容易过拟合特定刺激集合。该工作借助语言语义把视觉内容分解为更可迁移的概念因素，并构造对称的视觉—脑对齐目标，使 EEG/MEG 表征既能预测视觉语义，也能从视觉语义反向约束脑表征。作者在零样本 brain-to-image 检索中评估未见类别和跨数据条件，重点考察语言先验是否提升语义泛化。

跨被试 fMRI 解码的变化既来自个体脑组织，也来自不同刺激在各被试中的响应差异。Duala 为此设计双层对齐：被试层减少整体神经表征的域偏移，刺激层则保持同一或语义相近刺激的对应结构。模型联合优化共享空间与个体差异，在未见被试上评估视觉解码和检索。通过分别移除两类对齐，作者分析跨被试性能来自全局分布校准还是刺激级语义保持。

EEG 到视频不仅需要恢复每一帧的语义，还需保持跨帧运动一致性，并应在新被试上工作。作者提出 SAM-Net，从 EEG 中提取被试相对稳定的时空表示，并把其对齐到视频的语义和运动表征，再条件化视频生成模型。评估覆盖被试内与跨被试设置，同时考察检索、语义一致性和时间连贯性，强调模型能否在未参与训练的个体上重建动态视觉内容。

fMRI 的时间分辨率低，直接条件化视频扩散容易产生语义正确但动态不一致的结果。该框架把脑表征分层对齐到全局场景、对象语义和时间运动线索，并在生成过程中以不同层级条件约束视频内容。作者比较单层语义、分层语义和不同生成控制方式，评估重建视频的语义匹配、视觉质量和时间一致性，旨在更充分利用 fMRI 中可恢复的多尺度信息。

视觉 Transformer 具有成熟的多尺度与注意力建模能力，但 EEG 并非普通图像。EEGiT 将 EEG 转换为保留电极拓扑和时间变化的结构化表示，并通过适配模块复用视觉预训练模型，使模型学习脑信号中的空间—时间关系。作者在多类 EEG 数据上评估迁移效率、少样本性能和预训练视觉权重的贡献，研究视觉基础模型能否作为 EEG 编码器的通用初始化。

跨被试 EEG 到图像检索在目标被试分布变化时性能显著下降，而重新采集标签成本高。SATTC 在推理阶段利用无标签目标 EEG 的通道、时间和邻域结构校准表示，使其与训练被试形成更一致的语义空间，同时避免简单熵最小化导致的类别坍塌。作者在跨被试协议下比较无适配、监督校准和多种测试时适配方法，评估结构先验对未见个体检索的作用。

脑活动到视频重建容易在生成过程中丢失关键对象或动作。SemVideo 将脑表征映射到多层视觉语义，包括场景级概念、对象级内容和动作/时间线索，并利用这些条件引导视频生成。层级设计允许不同脑信号成分分别约束生成过程，作者通过语义指标、视频质量和消融实验比较各层先验的贡献，重点验证是否能更稳定地恢复被观看视频的主要内容。

fMRI 空间分辨率高但采样慢，EEG 时间分辨率高但空间定位有限。该工作将全脑动态表示为连续的时空神经帧，并用 EEG 提供快速时间条件、fMRI 提供空间监督，学习高分辨率脑动态重建。模型通过跨模态对齐与生成目标整合两类信号，实验比较时间插值、空间重建和下游解码，评估是否能在保持全脑结构的同时恢复更细的时间变化。

长程 fMRI 建模受到每个体积维度高、序列长的双重限制。TABLeT 研究自然图像自编码器能否迁移为 fMRI tokenizer，将单个体积压缩为约 27 个紧凑 token，再用序列模型学习较长时间范围的脑动态。作者比较不同预训练视觉编码器、压缩率和微调策略，评估重建保真度及长程下游任务表现，借此检验通用视觉表示对神经影像建模的可复用性。