fMRI2Face: A Full-HD fMRI-Video Dataset and Geometry-Guided Neural Decoding Framework for Dynamic Human Face Reconstruction

ABSTRACT

中文摘要

从脑活动中重建动态人脸，为研究大脑如何感知身份、表情和面部运动提供了一种有力途径。然而，基于 fMRI 的人脸解码长期受到两方面限制：缺少受控、高分辨率的神经数据集，以及现有方法难以同时恢复个体身份相关的外观和随时间变化的面部动态。本文提出 fMRI-Face，这是首个与可控全高清数字人面部视频配对的 fMRI 数据集，视频以 1920×1080 分辨率渲染。扫描期间，参与者观看没有背景、具有照片真实感的人脸视频，其中身份、表情和头部姿态均受到控制，同时记录 fMRI 活动。最终数据集包含 62,856 对配对的 fMRI—视频样本，为研究动态人脸知觉和重建提供了结构化资源。在此基础上，作者提出 fMRI2Face，一种用于从 fMRI 信号重建面部视频的几何引导神经视频解码框架。fMRI2Face 从脑活动中提取两种互补的神经控制：脑源外观上下文，用于捕捉与整体身份有关的视觉属性；可变形三维面部控制，用于为姿态、表情和非刚性面部动态提供显式的几何引导。两种控制通过神经控制视频扩散模型与辅助潜变量补全相结合，从而直接依据脑活动生成高保真面部视频。实验表明，与代表性神经解码基线相比，fMRI2Face 在重建保真度、身份保持、面部几何和运动一致性方面均取得持续提升。总体而言，fMRI-Face 与 fMRI2Face 建立了研究动态人脸感知的受控平台，并为基于 fMRI 的数字人重建提供了新的基准。