BrainJanus: A Unified Model for Understanding and Generation across Brain, Vision, and Language
Haitao Wu, Qirui Zhang, Zhouheng Yao, Shangquan Sun, Qihao Zheng, Mianxin Liu, Chi Zhang, Wanli Ouyang, Chunfeng Song, Changqing Zhang, Jiamin Wu
ICML 2026 主会 · OpenReview
OVERVIEW
论文概览
在同一自回归模型中统一图像/文本到 fMRI 编码与 fMRI 到图像/文本解码，是本届与你研究方向最直接重合的工作之一。
ABSTRACT
中文摘要
现有脑建模通常把编码与解码拆成独立任务，并依赖单模态对齐与外部生成先验。BrainJanus 提出统一脑 tokenizer，把连续神经动态量化为与视觉和语言表征共同对齐的离散 token；随后使用 All-in-One 自回归架构，通过统一的下一 token 预测支持图像到脑、文本到脑、脑到图像和脑到文本的任意方向生成。作者报告模型在多种基准上取得更好的综合表现，并展示零样本泛化以及具有生物拓扑可解释性的表征。
RESEARCH RELEVANCE
与你研究的关系
它几乎完整命中你的长期目标：统一编码/解码、共享 brain–vision–language 空间、双向生成和模型驱动神经表征分析。
LIMITATIONS
局限与核查重点
当前主要基于 fMRI；自回归统一并不自动保证编码与解码互为一致映射，需要核查循环一致性和跨被试设置。
SOURCE
来源与原文
ICML 2026 主会 · OpenReview
Haitao Wu, Qirui Zhang, Zhouheng Yao, Shangquan Sun, Qihao Zheng, Mianxin Liu, Chi Zhang, Wanli Ouyang, Chunfeng Song, Changqing Zhang, Jiamin Wu. BrainJanus: A Unified Model for Understanding and Generation across Brain, Vision, and Language. ICML 2026 主会 · OpenReview. https://openreview.net/forum?id=nJxailqsUW