BrainFocus: EEG-Guided ROI Selection for Efficient Vision-Language Models

ABSTRACT

中文摘要

视觉语言模型在视觉问答中表现良好，但面对大幅、杂乱图像时，即使只有很小区域与问题相关，处理整幅图像仍然代价高昂。EEG 能够记录人观看视觉刺激时的神经响应，因此可以为目标感兴趣区域提供来自人的语义线索；然而 EEG 引导的视觉类别解码并不完美，直接据此路由图像区域并不可靠。作者提出 BrainFocus，一种由 EEG 引导、同时具备置信度保护的高效视觉语言模型框架。EEG 分类器首先预测目标类别，YOLO 检测器再定位与该类别匹配的区域；只有当两者预测均超过置信度阈值时，视觉语言模型才接收裁剪后的 ROI，否则仍处理完整图像。研究基于 EEG-ImageNet 构建 40 类基准，包括生成的杂乱图像、真实的物体中心图像、目标 ROI 标注和 600 组英文视觉问答。对 Qwen3.5-VL 2B、4B 和 9B 三种模型，BrainFocus 在杂乱场景中将 VQA 准确率提高 4.14—9.87 个百分点，同时把输入 token、总 token 和端到端浮点运算量分别降低约 23.2%—39.4%、23.2%—39.3% 和 23.2%—39.5%。结果表明，即使 EEG 语义解码并不完美，置信度门控仍可让脑信号指导更高效的视觉语言模型推理。