Mind-to-Face: Neural-Driven Photorealistic Avatar Synthesis via EEG Decoding
Haolin Xiong, Tianwen Fu, Pratusha Bhuvana Prasad, Yunxuan Cai, Wenbin Teng, Haiwei Chen, Hanyuan Xiao, Yajie Zhao
ECCV 2026 主会 · Springer 正式论文集 · 2026-10-03 在线发表
OVERVIEW
论文概览
将 EEG 映射为密集三维面部位置图，并通过 3D Gaussian Splatting 渲染动态表情数字人，属于神经信号驱动生成。
ABSTRACT
中文摘要
当前富有表现力的数字人系统高度依赖视觉线索，当面部被遮挡或情绪没有外显时往往失效。我们提出 Mind-to-Face，这是首个直接将非侵入式脑电（EEG）信号解码为高保真面部表情的框架。我们建立双模态记录系统，在情绪诱发刺激期间同步采集 EEG 与多视角面部视频，为神经到视觉学习提供精确监督。模型使用 CNN–Transformer 编码器，将 EEG 映射到采样超过 6.5 万个顶点的密集三维位置图，捕捉精细几何与细微情绪动态，再通过修改后的 3D Gaussian Splatting 管线渲染，获得照片级真实且视角一致的结果。全面评估表明，仅用 EEG 就能可靠预测动态、被试特异的面部表情，包括细微情绪反应，提示神经信号包含比既有认识更丰富的情感与几何信息。Mind-to-Face 为神经驱动数字人建立了新范式，支持沉浸式环境中的个性化、情绪感知远程临场与认知交互。
RESEARCH RELEVANCE
与你研究的关系
论文事实：研究把同步 EEG–多视角视频用于三维表情监督，输出连续几何与渲染结果，而不是普通情绪类别。研究推断：可借鉴其“神经编码→可解释几何→生成渲染”分层条件设计，检验共享潜变量能否保留身份与动态属性，同时独立量化脑信号对输出的贡献。
LIMITATIONS
局限与核查重点
面部表情同步发生时，头皮记录可能混入面部肌电和眼动；摘要未证明这些因素已被充分排除，因此不能仅凭高保真数字人宣称识别了内部情绪。被试特异预测不等于新被试迁移，也不等于纯想象表情控制，需要严格伪迹、未来时间段和跨被试对照。
SOURCE
来源与原文
ECCV 2026 主会 · Springer 正式论文集 · 2026-10-03 在线发表
Haolin Xiong, Tianwen Fu, Pratusha Bhuvana Prasad, Yunxuan Cai, Wenbin Teng, Haiwei Chen, Hanyuan Xiao, Yajie Zhao. Mind-to-Face: Neural-Driven Photorealistic Avatar Synthesis via EEG Decoding. ECCV 2026 主会 · Springer 正式论文集 · 2026-10-03 在线发表. https://link.springer.com/chapter/10.1007/978-3-032-37152-2_17