CortexVideo: A Semantic-Spatial Dual-Anchor Framework for High-Fidelity fMRI-to-Video Reconstruction

ABSTRACT

中文摘要

神经解码的近期进展，使直接从非侵入式脑信号重建视觉刺激成为可能。然而，由于动态场景固有的连续空间与语义变化，连续视频流重建仍然极具挑战。多数方法依赖“先重建、再描述”的范式，从重建的视频关键帧生成说明文字，而这些关键帧极易产生语义漂移。为克服这些困难，我们提出新解码框架 CortexVideo，从功能磁共振成像（fMRI）重建视频。受视觉双流假说启发，CortexVideo 引入双重引导解码策略：利用被试自适应语义信息引导视频重建，同时整合关键帧感知权重。实验表明，CortexVideo 从视频语义理解和空间定位两个关键维度，为已有层次模型提供了认知层面的增强。重建视频在语义与空间两方面均更忠实于视觉刺激，取得了作者所报告的先进结果。