Bridging Brain and Semantics: A Hierarchical Framework for Semantically Enhanced fMRI-to-Video Reconstruction
Yujie Wei, Chenglong Ma, Jianxiong Gao, Chenhui Wang, Shiwei Zhang, Biao Gong, Shuai Tan, Hangjie Yuan, Hongming Shan
CVPR 2026 主会 · CVF Open Access
OVERVIEW
论文概览
将 fMRI 对齐到分层视频语义，再逐级约束视频生成，以兼顾内容身份和动态结构。
ABSTRACT
中文摘要
fMRI 的时间分辨率低，直接条件化视频扩散容易产生语义正确但动态不一致的结果。该框架把脑表征分层对齐到全局场景、对象语义和时间运动线索，并在生成过程中以不同层级条件约束视频内容。作者比较单层语义、分层语义和不同生成控制方式，评估重建视频的语义匹配、视觉质量和时间一致性，旨在更充分利用 fMRI 中可恢复的多尺度信息。
RESEARCH RELEVANCE
与你研究的关系
可借鉴为脑区可控干预设计：把语义变化、对象保持与动态保持分成不同条件，而不是统一改变整段视频。
LIMITATIONS
局限与核查重点
fMRI 对快速运动信息的可辨识度有限；层级条件中的运动知识可能主要来自视频模型先验。
SOURCE
来源与原文
CVPR 2026 主会 · CVF Open Access
Yujie Wei, Chenglong Ma, Jianxiong Gao, Chenhui Wang, Shiwei Zhang, Biao Gong, Shuai Tan, Hangjie Yuan, Hongming Shan. Bridging Brain and Semantics: A Hierarchical Framework for Semantically Enhanced fMRI-to-Video Reconstruction. CVPR 2026 主会 · CVF Open Access. https://openaccess.thecvf.com/content/CVPR2026/html/Wei_Bridging_Brain_and_Semantics_A_Hierarchical_Framework_for_Semantically_Enhanced_CVPR_2026_paper.html