Multimodal LLMs Can Learn to Read Brain Signals: A Vision--Language Model for Unified Multi-Task EEG Decoding

ABSTRACT

中文摘要

如何把 EEG 有效接入通用基础模型，并在不同任务和数据集之间共享模型，仍是统一脑信号建模的关键问题。作者提出 BraVista：把多通道 EEG 编码成结构化图像，再通过指令条件的视觉语言模型完成多任务解码。该方法不进行大规模 EEG 专用预训练，而是在通用领域 VLM 的视觉和语言先验上继续后训练，使模型适应神经信号。实验覆盖四个数据集和睡眠分期、情绪识别、认知负荷分类与异常 EEG 检测四类任务，报告了有竞争力的跨任务表现。进一步分析显示，EEG 到图像的具体表示方式对结果十分关键；对原始信号逐渐加入更强噪声时，性能平滑下降，而不是保持不变，说明模型至少使用了与 EEG 内容相关的信息，而不完全依靠固定的视觉纹理或版式。结果将结构化信号图像视为连接脑信号和通用 VLM 的可扩展接口。