Image-to-Brain Signal Generation for Visual Prosthesis with CLIP-Guided Multimodal Diffusion Models
Ganxi Xu, Zhao-Rong Lai, Yuting Tang, Yonghao Song, Guoxu Zhou, Boyu Wang, Jian Zhu, Jinyi Long
ICML 2026 主会 · OpenReview
OVERVIEW
论文概览
沿编码方向从图像生成 EEG/MEG，用 CLIP 图像与文本语义共同引导扩散模型，为视觉假体和闭环编解码提供脑信号生成器。
ABSTRACT
中文摘要
该工作研究与 brain-to-image 相反但互补的 image-to-brain 任务：给定视觉图像，生成相应 EEG 或 MEG 信号。模型以 diffusion transformer 和 DDIM 为生成骨架，通过跨注意力把脑信号潜变量与拼接后的 CLIP 图像、文本嵌入对齐，并加入可学习的时空位置表示以适应不同传感器与时间点。实验评估生成信号的分布、可解码性及与真实神经响应的一致性，目标是为视觉假体模拟和脑编解码闭环训练提供可控数据。
RESEARCH RELEVANCE
与你研究的关系
统一脑编解码不应只做 brain→CLIP；该工作提供反向 CLIP→脑信号生成头，可用于循环一致性和反事实刺激实验。
LIMITATIONS
局限与核查重点
高可解码性的合成信号可能只复现判别特征而非真实生理机制；临床视觉假体价值仍是远期推断。
SOURCE
来源与原文
ICML 2026 主会 · OpenReview
Ganxi Xu, Zhao-Rong Lai, Yuting Tang, Yonghao Song, Guoxu Zhou, Boyu Wang, Jian Zhu, Jinyi Long. Image-to-Brain Signal Generation for Visual Prosthesis with CLIP-Guided Multimodal Diffusion Models. ICML 2026 主会 · OpenReview. https://openreview.net/forum?id=iPTCYxloni