Mind-Omni: A Unified Multi-Task Framework for Brain-Vision-Language Modeling via Discrete Diffusion
Yizhuo Lu, Changde Du, Qingyu Shi, Hang Chen, Jie Peng, Liuyun Jiang, Shuangchen Zhao, Huiguang He
ICML 2026 Spotlight · OpenReview
OVERVIEW
论文概览
以离散扩散统一七类脑–视觉–语言编码、解码和问答任务，并用标准化脑 token 支持任意模态间生成。
ABSTRACT
中文摘要
Mind-Omni 针对既有脑模型任务割裂的问题，提出脑 tokenizer，把异质连续脑信号转换为标准化离散 token，并通过共享语义空间实现脑、图像和文本之间的 token 级交互。统一的离散扩散骨干覆盖七类编码与解码任务，同时加入专门构建的 Brain Question Answering 指令数据以增强推理。作者报告该模型在多任务统一框架中取得新的最佳结果，并观察到联合训练带来的任务协同，部分任务能够达到或超过参数规模更大的专用模型。
RESEARCH RELEVANCE
与你研究的关系
它提供了与你研究最接近的另一条统一路径：BrainJanus 使用自回归，Mind-Omni 使用离散扩散，适合做统一建模范式的核心对比。
LIMITATIONS
局限与核查重点
目前核心脑 tokenizer 仍基于特定 fMRI 数据；七任务共享是否真正带来跨被试、跨数据集泛化需要单独核查。
SOURCE
来源与原文
ICML 2026 Spotlight · OpenReview
Yizhuo Lu, Changde Du, Qingyu Shi, Hang Chen, Jie Peng, Liuyun Jiang, Shuangchen Zhao, Huiguang He. Mind-Omni: A Unified Multi-Task Framework for Brain-Vision-Language Modeling via Discrete Diffusion. ICML 2026 Spotlight · OpenReview. https://openreview.net/forum?id=3gCdh3u2GK