Direct Conditioning of Audio Diffusion Transformers on fMRI Reveals Cortical Contributions to Sound Reconstruction

ABSTRACT

中文摘要

从脑活动重建音频仍然具有挑战。一个关键局限是，当前音频扩散模型主要为文本条件设计，缺少接入神经响应等非语言连续信号的机制。尽管视觉领域近期已探索直接以脑活动为条件，但这一方法尚未扩展到音频扩散模型。我们提出一种直接利用 fMRI 信号引导潜在音频扩散模型的框架，在条件化阶段避免中间特征预测。方法的核心是一个与 Transformer 兼容的适配器，使非语言表征能够整合进扩散 Transformer（DiT）的交叉注意力层。尽管其动机来自神经解码，这一适配器提供了以任意连续输入条件化音频扩散模型的通用机制，并不局限于神经信号。我们在声学与语义评价指标上，均展示了相较基线的持续改善，基线包括两阶段 fMRI 到潜在条件的方法。此外，我们引入以听觉神经加工计算模型为基础的保真度指标，从而量化不同听觉皮层区域对重建音频表征的贡献。