MindAU: EEG-Conditioned Facial Action Unit Editing via Dual-Stream Manifold Alignment

ABSTRACT

中文摘要

近期脑解码研究已经在从神经信号重建外部感知的视觉内容方面取得了显著进展。然而，使用脑电图（EEG）引导人脸表情编辑仍基本未被探索，并且带来了独特挑战：它不是恢复被试所看到的内容，而是需要从噪声较大的 EEG 信号中识别人脸动作相关模式，并将这些模式落实为局部、保持身份的表情编辑。本文研究 EEG 条件下的人脸图像编辑，实现对细粒度面部动作单元（AU）的控制，并提出 MindAU，一个用于根据 EEG 信号控制面部 AU 编辑的统一框架。MindAU 首先通过时间掩码重建和 AU 分类监督，学习抗噪且具有 AU 判别性的 EEG 表征；随后通过双流流形对齐，在 Qwen2.5-VL 的多模态空间中，将 EEG 特征分别与 AU 级文本语义和去身份化的视觉位移轨迹对齐；最后，作者在多模态扩散编辑器中加入 EEG 感知的多模态旋转位置嵌入、地标引导的参考图遮罩以及 AU 感知的区域监督，实现高保真的身份保持编辑。作者还构建了 E-CAFE，这是一个用于 EEG 条件动作单元人脸编辑的基准数据集，包含配对的 EEG—人脸编辑样本和标准化评估协议。大量实验验证了 MindAU 的有效性，并显示其有望成为面向面部神经肌肉障碍患者的辅助表情技术基础。