Follow-Your-Mind: Towards Inversion-Free Brain-Driven Visual Context Synthesis and Editing

ABSTRACT

中文摘要

通过脑信号解读人类视觉意图并操纵视觉内容，是神经生成式人工智能的一个重要里程碑。近期研究已经展示了令人瞩目的脑活动图像重建能力，但往往依赖缓慢的迭代扩散反演过程，难以实现实时编辑，也未能将生成与精确上下文修改统一起来。Rectified Flow 最近成为快速、确定性生成的一种有力解决方案。受此启发，我们提出 MinD-Flow，一种用于统一脑驱动合成与编辑、无需反演的新框架。该框架引入 Neuro-aware Encoder，对异质脑信号进行统一编码，并结合 Neuro-Perceiver Bridge（NPB），使脑语义与视觉锚点对齐，将“思维空间”映射到生成潜空间。此外，解耦流引导（DFG）与自适应软掩膜克服了结构保持与语义变化之间的冲突，实现无需噪声反演的精确局部编辑。我们提出 Brain-Gen Benchmark，标准化神经上下文、创造与编辑任务的评估。全面实验显示了作者所报告的先进性能，为脑机接口应用提供了一种多用途工具。