RAG-Audio: Retrieval-Augmented Generation for Faithful Brain-to-Audio Reconstruction
Ambuj Mehrish, Sebastiano Vascon
arXiv:2608.09331v1 · 2026-08-10 提交
ABSTRACT
中文摘要
脑到音频重建受到“先验支配”的限制：当预训练生成器只接收到较弱的神经条件信号时，它可能生成听起来真实、但与真实刺激不一致的音频。作者提出 RAG-Audio，先把 fMRI 解码到语义音频嵌入空间，再检索与该嵌入匹配的真实音频样例；随后用这一样例初始化冻结生成器的采样轨迹，同时继续把脑信号解码得到的嵌入作为条件。在 Brain2Music 数据集上，直接生成方法的十选一刺激识别准确率只有 0.14–0.18，接近 0.10 的机会水平，而 RAG-Audio 将其提高到 0.40–0.43，达到与检索方法相近的水平。对于 AudioLDM，Fréchet Audio Distance 也从 13.49 降至 1.25，约改善一个数量级。RAG-Audio 在保持生成属性的同时接近最近邻检索的识别性能；由于检索会直接重放真实音频，而 RAG-Audio 生成的是新样本，因此其 FAD 高于纯检索属于预期结果。一个无法初始化潜在采样轨迹的自回归负对照没有获得相近增益，说明性能提升主要来自轨迹初始化，而不是仅仅加入检索步骤。结果表明，检索引导的生成初始化能够缓解脑到音频生成中的先验支配问题。
RESEARCH RELEVANCE
与你研究的关系
论文事实：RAG-Audio 将 fMRI 解码为 CLAP 语义嵌入，检索真实音频样例后从扩散或流模型的中间轨迹开始生成，在五名 Brain2Music 被试上显著提高刺激一致性，并用自回归生成器作为机制负对照。研究推断：这直接对应你的 fMRI→CLIP→生成流程中的“生成先验压过脑证据”问题。可将其迁移到 brain-to-image：先在 CLIP 空间检索语义和构图接近的图像，再以可调噪声强度初始化扩散轨迹，并比较直接生成、纯检索、检索初始化和错配检索四组条件，从而把语义忠实度与生成新颖性分开评估。
LIMITATIONS
局限与核查重点
论文目前是未经同行评审的预印本，只在 Brain2Music 的五名被试和音乐刺激上验证。检索样例来自训练记忆库，可能把数据集相似性带入最终输出；十选一识别和 FAD 也不能等同于波形级重建。该方法仍依赖被试特异的 fMRI→CLAP 解码器，摘要没有证明对新被试、开放类别音乐或跨数据集的零样本泛化。
SOURCE
来源与原文
arXiv:2608.09331v1 · 2026-08-10 提交
Ambuj Mehrish, Sebastiano Vascon. RAG-Audio: Retrieval-Augmented Generation for Faithful Brain-to-Audio Reconstruction. arXiv:2608.09331v1 · 2026-08-10 提交. https://arxiv.org/abs/2608.09331