NeuroFlow: Toward Unified Visual Encoding and Decoding from Neural Activity
Weijian Mai, Mu Nan, Yu Zhu, Jiahang Cao, Rui Zhang, Yuqin Dai, Chunfeng Song, Andrew F. Luo, Jiamin Wu
CVPR 2026 主会 · CVF Open Access
OVERVIEW
论文概览
在同一生成框架中联合学习图像到脑活动的编码与脑活动到图像的解码，使两个方向共享神经潜空间。
ABSTRACT
中文摘要
视觉神经编码与解码常被当作两个独立问题训练，导致模型难以利用两者互补约束。NeuroFlow 先通过 NeuroVAE 学习紧凑神经潜变量，再使用跨模态流匹配建立视觉与脑活动之间的双向连续映射，从而在统一框架内支持图像预测脑响应和脑响应重建图像。联合训练使编码方向提供的结构约束反哺解码，也使解码结果可以反向检验编码表征。作者在视觉脑数据上比较专用单向模型与统一模型，报告联合建模在编码和解码指标上均具有竞争力。
RESEARCH RELEVANCE
与你研究的关系
这是与你最高优先级方向直接重合的 CVPR 工作：共享潜空间、双向映射与统一训练可直接对照现有 fMRI–CLIP 编解码架构。
LIMITATIONS
局限与核查重点
统一性能不等于学到可解释的共同机制；需要核查跨被试设置、双向损失是否真正互利，以及生成先验的贡献。
SOURCE
来源与原文
CVPR 2026 主会 · CVF Open Access
Weijian Mai, Mu Nan, Yu Zhu, Jiahang Cao, Rui Zhang, Yuqin Dai, Chunfeng Song, Andrew F. Luo, Jiamin Wu. NeuroFlow: Toward Unified Visual Encoding and Decoding from Neural Activity. CVPR 2026 主会 · CVF Open Access. https://openaccess.thecvf.com/content/CVPR2026/papers/Mai_NeuroFlow_Toward_Unified_Visual_Encoding_and_Decoding_from_Neural_Activity_CVPR_2026_paper.pdf