Brain-IT: Image Reconstruction from fMRI via Brain-Interaction Transformer

ABSTRACT

中文摘要

从人的 fMRI 脑记录重建其所见图像，为非侵入式观察人脑提供了一扇窗口。尽管扩散模型推动了近期进展，现有方法仍常缺乏对实际所见图像的忠实性。我们提出脑启发的方法 Brain-IT，通过脑交互 Transformer（BIT）实现功能相似脑体素簇之间的有效交互。这些功能簇由所有被试共享，作为整合同一大脑内部及不同大脑之间信息的构件。全部模型组件在体素簇与被试之间共享，从而能够利用有限数据高效训练。为了指导图像重建，BIT 预测两类互补的局部图像块特征：高层语义特征将扩散模型引向正确语义内容，低层结构特征则以正确的粗略图像布局初始化扩散过程。BIT 的设计使脑体素簇信息能够直接流向局部图像特征。基于这些原则，本方法能够忠实重建所见图像，在视觉质量与标准客观指标上均超越已有先进方法。此外，对于新被试，仅用一小时 fMRI 数据即可获得与已有方法使用完整四十小时记录时相当的结果。