OneEEG: A Unified Signal-Visual Multimodal Language Model with Task-Aware Mixture of Projectors for Multi-Task EEG Understanding
Jiacheng Zhang, Xueyi Zhang, Xin Lu, Siqi Cai, Haizhou Li
arXiv:2610.35355v1 · 2026-10-26 提交
ABSTRACT
中文摘要
脑电图广泛用于临床评估、脑机接口和认知状态分析，但 EEG 建模仍分散在不同任务范式中。多模态大型语言模型为灵活的多模态推理提供了有前景的接口，但其理解 EEG 输入的能力仍然有限。作者提出 OneEEG：一个用于多任务 EEG 理解的统一 EEG—多模态语言模型框架。模型在作者整理的多任务 EEG 指令微调数据集 OneEEG-Instruct 上训练，同时建模数值 EEG 表示和视觉化 EEG 表示，并引入任务感知的投影器混合模块，将不同任务家族的异构 EEG 特征对齐到语言模型嵌入空间。作者还建立 OneEEG-Bench，用于评估现有多模态语言模型及所提方法的多任务 EEG 理解能力。实验显示，现有通用多模态语言模型解释 EEG 输入的能力有限；OneEEG 通过融合数值与视觉 EEG 表示，并采用任务感知的 EEG→语言模型投影，取得更强的整体表现。消融和深入分析进一步考察了 EEG 波形图、不同投影器混合设计、路由行为及跨任务特征离散程度的影响。
RESEARCH RELEVANCE
与你研究的关系
论文事实：OneEEG 使用 EEGPT 数值编码器与 Qwen2.5-VL-7B 主干，把数值信号、波形图和文本指令拼接为统一输入；OneEEG-Instruct/Bench 覆盖运动、状态、临床、事件、睡眠和警觉六类任务，并在可获得身份信息时按被试划分训练与评估。研究推断：统一 fMRI–EEG 模型可以借鉴‘共享语言主干＋模态前端＋任务感知投影器’，但投影路由还应同时审计任务、数据集和被试身份，确认共享空间保留的是刺激语义而非标签体系。
LIMITATIONS
局限与核查重点
OneEEG 的问答主要是多选题和是非题，答案由原数据集标签或预先计算的幅值、频带等属性生成；它统一了交互接口，但没有展示开放式 brain-to-text、脑到图像或未知语义类别生成。六类任务中相当部分属于运动想象、睡眠、疾病和事件分类，不能因接入 LLM 就自动视为高层认知理解。非标准通道数据只走波形图分支，可能利用绘图格式或视觉纹理捷径。当前为未经同行评审的预印本。
SOURCE
来源与原文
arXiv:2610.35355v1 · 2026-10-26 提交
Jiacheng Zhang, Xueyi Zhang, Xin Lu, Siqi Cai, Haizhou Li. OneEEG: A Unified Signal-Visual Multimodal Language Model with Task-Aware Mixture of Projectors for Multi-Task EEG Understanding. arXiv:2610.35355v1 · 2026-10-26 提交. https://arxiv.org/abs/2610.35355