Moving Beyond Diffusion: Hierarchy-to-Hierarchy Autoregression for fMRI-to-Image Reconstruction

ABSTRACT

中文摘要

从 fMRI 信号重建视觉刺激，是连接机器学习与神经科学的核心挑战。近期基于扩散的方法通常把 fMRI 活动映射为单一神经嵌入，并在整个生成过程中将其作为静态引导。然而，这种固定引导会压缩层级神经信息，也不符合图像重建各阶段的不同需求。为此，我们提出 MindHier，一种基于尺度自回归建模、由粗到细的 fMRI 图像重建框架。MindHier 包含三个部分：提取多层神经嵌入的层级 fMRI 编码器；约束其与 CLIP 特征逐层对应的层级到层级对齐方案；以及在相应尺度向自回归过程注入这些嵌入的尺度感知、由粗到细神经引导策略。这些设计使模型先合成全局语义，再细化局部细节，形成类似人类视觉感知的层级重建过程，为扩散方法提供一种高效且具有认知对齐动机的替代方案。NSD 数据集上的广泛实验表明，MindHier 相较扩散基线具有更好的语义忠实度、4.67 倍的推理速度，以及更确定的结果。