Lost in Visual Translation: A VLM-Assisted Perceptual-Semantic Coherence Framework for EEG-to-Image Reconstruction

ABSTRACT

中文摘要

EEG 到图像重建的评估应当区分视觉保真度与可恢复的语义。然而，EEG 生成的重建往往模糊、失真且细节不足，使 SSIM、LPIPS 和 CLIP 可能惩罚语义仍可恢复的输出，或奖励看起来合理但内容错误的结果。作者使用语义探针、描述文本苛刻度与盲点率，以及受控退化，对 ATM、ENIGMA、BrainVis 和 DreamDiffusion 的 6,855 对真实图像/重建图像进行了分析。像素级指标与语义一致性几乎没有相关性，而表征级指标会混淆知觉错误和语义错误。因此，作者提出一个面向 BCI 的评估框架，由四个视觉语言模型通过结构化问题评估图像对，分别产生容忍式知觉对齐分数（T-PAS）和容忍式语义对齐分数（T-SAS）。四个模型的共识进一步被蒸馏为紧凑的 BCI-Coherence Score（BCS）。在作者数据上，BCS 对 T-PAS 的平均绝对误差为 0.079（r=0.700），对 T-SAS 的平均绝对误差为 0.082（r=0.850）。人工验证显示联合一致性判断具有很高可靠性，Cohen’s κ=0.882±0.174，Krippendorff’s α=0.882；结果支持用“知觉—语义可恢复性”评估脑重建，而不是只依赖通用视觉相似度。代码和资源已公开。