01
2005–2011
从“能否读出”到可计算的编码模型
早期工作把脑解码从单脑区平均激活推进到多体素模式分析：模型开始利用分布式活动识别视觉内容。随后，编码模型反过来预测自然刺激引起的脑响应，并通过候选刺激反演出观看内容。研究目标仍以分类、识别和粗粒度重建为主，但“编码—解码双向建模”的基本范式已经形成。
关键转折：从相关脑区定位，转向学习可泛化的刺激—脑响应映射。
FIELD EVOLUTION · 2005–2026
统一多模态脑编解码
如何走到今天
从有限类别识别，到共享表征与条件生成，再到跨被试、多脑模态和可检验的神经科学假设。结合站内简报、Nature 与五场顶会文献，梳理已经发生的进展，以及尚未跨越的证据边界。
5个历史阶段 · 6 条当前主线基于站内已收录文献
更新：2026 年 10 月 20 日
更新：2026 年 10 月 20 日
核心对象fMRI、EEG、MEG、ECoG 与图像、文本、音频、视频
核心问题统一到哪一层、如何泛化、神经条件是否有效、机制证据是否充分
阅读口径历史演进与同期路线分开；论文事实、证据边界和研究判断分开
THE CENTRAL SHIFT
这个领域真正发生了什么变化？
01任务
从类别识别扩展到候选检索与条件生成。图像、语言、视频和三维输出丰富了，但开放程度需逐项核实。
02表征
从手工特征与标签，发展为 DNN、CLIP、语音模型和 LLM 提供的共享潜空间。
03泛化
从每名被试独立训练，走向共享结构与个体适配。零样本、少样本和免参数更新仍是不同条件。
04科学目标
从单一预测分数走向表征结构、选择性模型操控和实验闭环。能够预测，不等于已经解释机制。
FIVE STAGES
五个阶段，看懂技术主线
02
2017–2021
深度网络成为脑表征的中介坐标系
卷积神经网络把图像分解为从边缘、形状到类别语义的层级特征，使研究者能够把视觉皮层层级与人工模型层级逐层对齐。解码器不再只预测标签，而是预测深度特征，再借助优化或生成网络恢复看见与想象的图像。训练好的任务模型也开始被用来比较脑区功能，脑解码与机制发现由此汇合。
关键转折：输出空间从有限类别，扩展为可重建、可比较的高维表征。
03
2022–2023
CLIP、语言模型与扩散模型重塑生成式脑解码
预训练视觉—语言模型提供跨类别语义空间，扩散模型把神经预测的条件转化为高保真图像。fMRI、MEG 和 EEG 开始对齐 CLIP、语音或语言模型表征；候选刺激检索与连续语言重建等不同任务并行发展。生成结果的自然度显著提升，但检索正确、生成流畅和忠实恢复神经内容仍是不同能力，强生成先验也可能掩盖脑信号的实际贡献。
关键转折：脑模型从直接生成像素，转向预测基础模型潜变量并控制生成器。
04
2024–2025
基础模型、跨被试共享空间与数据规模化
研究重点开始从“为一个被试训练一个解码器”转向大规模预训练、跨数据集迁移和少样本适配。BrainLM 等工作验证了在数千小时 fMRI 上学习通用动态表征的可行性；跨被试方法则尝试把个体脑空间映射到共享表示，再保留被试特异的适配分支。与此同时，EEG 基础模型和脑—语言统一建模快速发展，但不同设备、通道布局、任务和采样协议仍使真正统一十分困难。
关键转折：从单任务、单被试模型，转向预训练主干 + 共享空间 + 个体适配。
05
2026 · 截至 10 月
统一表征开始落地，验证标准同步升级
2026 年的进展呈现多条并行路线：空间感知的 fMRI 表征、共享功能与个体适配、结构化生成条件、多脑模态预训练，以及自然情境动力学。NeuroFlow 等连接双向编解码，Brain-OF 联合不同脑信号，BrainVista 等扩展连续时间预测；它们统一的对象并不相同。与此同时，跨 ROI 关系、个人感知对齐与选择性模型操控，使评价从一个预测分数走向更具体的科学假设。
关键转折：共同模型与更强生成器开始出现，但泛化、神经信息贡献和机制解释必须分别验证。
2026 · SIX PARALLEL DIRECTIONS
当前进展：六条并行主线
这些是同期互补的研究路线，并非后一条已经取代前一条。代表论文可进入站内阅读全文导读与完整中文摘要。
01
fMRI 的空间结构，成为模型本身的一部分
事实依据
NRF 把图像诱发响应写成解剖坐标上的连续函数；FlexiBrain 接收异质原生空间 fMRI；HBAR 比较体素、脑区和网络三级 token。FlatClip 则用冻结图像模型处理皮层平展图，追问已有性能究竟有多少来自空间几何。研究不再只比较编码器大小，也开始比较观测坐标与压缩方式。
证据边界
这些方法解决的层次不同：NRF 是刺激→脑响应编码，FlexiBrain、HBAR 和 FlatClip 主要学习脑信号表征。空间重建或表型成绩提升，尚不能直接推出内容解码改善。
研究判断 · 下一问
更紧凑或更连续的表示，是否仍保留支持正确语义解码的局部信息？应同时测量响应保真、刺激检索与个体差异。
02
跨被试共享，从统一坐标走向共享功能与个体残差
事实依据
Brain-IT 以共享功能体素簇建立跨脑交互，再对新被试进行少量校准；BrainTC 将共享张量基与被试残差分开，分别研究零样本与残差适配；VCFlow 用视觉通路分解和对比学习研究未见被试解码。BrainCoDec 则在测试时用上下文示例适应个体，不更新模型参数。
证据边界
一小时校准、无需重训和完全不使用目标被试信息是不同设置。解剖对齐不等于功能完全对齐；未见被试也可能仍共享训练刺激或数据集条件。
研究判断 · 下一问
固定刺激划分和主干后，个体适配器究竟恢复了什么？需要把新被试、新刺激、新 session 和新站点的外推分别报告。
03
生成式解码，从一个语义向量走向分层和结构化条件
事实依据
MindHier 将多层 fMRI 表征注入匹配尺度的自回归生成；PRISM 用物体、属性和关系组织文本中间空间；CortexVideo 同时利用语义与空间线索；Follow-Your-Mind 把脑信号引导的合成与局部编辑连接起来。扩散模型之外，自回归与流模型也进入脑条件生成。
证据边界
更换生成器不等于增加了神经信息。局部细节、布局和语义可能来自不同条件与预训练先验；不能只凭生成结果逼真，宣称恢复了完整视觉体验。
研究判断 · 下一问
改变一个目标语义时，目标属性是否随之改变，非目标背景是否保持？零脑信号、错配脑信号与仅视觉条件要使用同一生成预算比较。
04
“统一多模态”开始出现实证，但统一的层次必须说清
事实依据
Brain-OF 联合预训练 fMRI、EEG、MEG，以共享与路由专家处理共性和模态差异；UniEFS 研究上下文感知的 EEG→fMRI 合成；另一项研究用 fMRI 微调语言表征，改善 ECoG 编码。EEG 侧的 BRIDGE 则把视觉模型深度与神经响应时间阶段同时纳入对齐。
证据边界
联合预训练、模态转换、跨模态迁移不是同一种能力。多模态刺激驱动 fMRI 编码，也不等于联合建模多种脑信号。上述证据尚未统一证明任意模态子集都能恢复缺失信号并维持内容解码。
研究判断 · 下一问
拿走某一模态后，模型能否恢复支持正确语义解码的关键信息？需要将共享语义、模态特异信息与被试变量分别验证。
05
自然情境与长时程预测，扩展了静态重建的边界
事实依据
BrainVista 在已观测刺激条件下滚动预测未来 fMRI；BrainWorld 用结构 MRI 作为个体解剖先验生成脑动态。TRIBE v2 合成响应被用于提高真实脑解码的数据效率；AVID 为听觉诱导的视觉想象建立专门数据和评价。数据深度、动态预测和内部体验开始成为独立研究轴。
证据边界
已观测刺激条件预测不是自主脑世界模型；生成轨迹稳定不等于生理机制真实。合成数据可能继承教师偏差；听觉诱导想象也仍受语言与提示内容影响。
研究判断 · 下一问
模型能否在未来 session、未见影片和未见任务上保持可信预测？应分开测量滚动误差、语义保真与合成数据的真实测试收益。
06
科学价值，从预测分数走向可区分、可干预的假设
事实依据
APA 检验跨 ROI 关系轮廓；稀疏语义—皮层原子将语义特征与多被试脑图谱共同建模。10 月个体感知预印本提示，行为对齐改善可能伴随脑响应预测下降。EEG SAE 检查操控的目标效应与非目标损伤；小鼠 V1 工作则将模型提出的刺激带回真实记录验证。
证据边界
可读取、模型实际使用、可选择操控和真实脑因果机制，是逐级增强的证据。统计对齐、解释图或潜变量擦除，任何一项都不足以单独跨越这些层级。
研究判断 · 下一问
一个语义方向或脑区假设，能否在冻结模型、独立刺激和真实脑测量上复现？反事实变化还需排除编辑本身的低层视觉混杂。
WHAT DOES “UNIFIED” MEAN?
先看“统一”的对象，再比较能力
| 统一的层次 | 已有工作在做什么 | 不能由此直接推出 |
|---|---|---|
| 双向任务统一 | 在同一框架中学习刺激→脑与脑→刺激，或脑—视觉—语言的多方向任务。 | 不等于联合观测多种脑信号，也不保证任意缺失模态恢复。 |
| 脑模态联合预训练 | fMRI、EEG、MEG 接入共享主干，保留模态特异计算。 | 联合训练不自动证明共享的是刺激语义，或缺失后内容可恢复。 |
| 模态转换与表征迁移 | 从 EEG 合成 fMRI，或以 fMRI 微调表征改善 ECoG 编码。 | 条件合成与特征迁移需分别评价，不能合并宣称原始波形任意互译。 |
| 多模态刺激编码 | 联合视觉、声音和语言特征预测 fMRI。 | 刺激是多模态，不代表 EEG、MEG 等脑记录也参与了联合训练。 |
COMPOSABLE DESIGN · RESEARCH SYNTHESIS
现有工作提供的可组合设计
输入层多种脑信号
→fMRI · EEG · MEG · ECoG
特异结构时空与个体接口
→原生坐标 · 功能簇 · 时间尺度 · 个体残差
共享结构可迁移表征
→语义 · 感知 · 上下文 · 动态
任务与检验编解码及独立验证
重建 · 预测 · 编辑 · 真实脑测量
研究判断：上图是从现有论文归纳的设计空间，不是已经确立的唯一架构。连续响应场、SSM、Transformer、流匹配、自回归与 MoE 仍在并行探索。共享表征是否真的承载跨模态语义，必须用独立任务和缺失条件检验。
SIX QUESTIONS FOR A NEW PAPER
读一篇新论文，先问六个问题
推理时还输入了什么？
MindVLM 推理需要测试图像；仅脑信号、脑＋图像、脑＋候选文本的结果不能直接比较。先明确输出是检索、生成，还是对视觉证据的选择。
新被试究竟提供了多少信息？
区分梯度微调、上下文样例、目标统计与完全零目标数据。被试留出、刺激留出、session 留出和站点留出是不同泛化轴。
缺失恢复保住了什么？
信号重建误差降低，并不保证物体身份、语义或关键局部信息仍可解码。恢复质量需与冻结解码器的内容表现共同报告。
目标空间改变了结论吗？
个人感知对齐可能牺牲神经预测；语言模型深层检索也可能更多反映篇章而非词身份。应控制目标层级、文本构造和指标所测内容。
时间预测是否真的外推？
明确可用刺激、血流动力学延迟、因果窗口和滚动跨度。相邻时间点随机划分与未来 session 测试，不是同样严格的验证。
干预发生在模型还是大脑？
ROI 消融、潜变量擦除与反事实刺激首先检验模型。要支持真实神经机制，还需独立刺激、被试及真实神经测量的验证。
TESTABLE NEXT STEPS
下一步，怎样把方向变成实验
以下为基于文献的研究判断，尚不是这些论文已经共同证明的能力。
共享语义与个体映射能否独立迁移？
在相同主干和刺激划分下，对比功能簇、张量残差、低秩适配和上下文学习；测量校准样本量，而不是只比较最终分数。
任意模态子集能否维持内容解码？
分别遮挡模态与局部脑区，用信号保真、语义可读性和不确定性共同评估；联合预训练本身不足以回答这个问题。
生成器中的神经条件是否具有选择性？
在固定生成预算下改变某个物体、属性或 ROI 条件，同时评价目标变化与非目标保持；比较零脑、错误脑及仅刺激条件。
模型提出的机制假设能否回到实验？
编码器提出候选刺激与响应差异，解码器检验内容一致性，再以独立真实脑数据验证。双向一致只能作为中间证据，不能代替实验。
A READING ROUTE
从建模到验证的阅读顺序
再判断统一模型能做什么
对照 Brain-OF 的联合预训练、UniEFS 的模态转换与 MIRAGE 的多模态刺激编码，避免把不同输入输出设定混为一谈。
EDITORIAL NOTE
如何使用这个专题
本页基于站内已收录的 CVPR、ICML、ICLR、NeurIPS、ECCV 2026、Nature Portfolio 与日常简报整理，属于编辑性方法综述，不宣称穷尽所有研究。会议论文、期刊论文与预印本的身份保留在各论文页；“研究判断”用于提出可验证问题。专题仅按明确要求维护，不随日常简报自动改动。