FoME: A foundation model for EEG using adaptive temporal-lateral attention scaling
Enze Shi, Kui Zhao, Qilong Yuan, Huawen Hu, Jiaqi Wang, Sigang Yu, Geng Chen, Dingwen Zhang, Yixuan Yuan, Yanning Zhang, Shu Zhang
Computerized Medical Imaging and Graphics · 2026-08-31 正式发表 · DOI:10.1016/j.compmedimag.2026.102817
ABSTRACT
中文摘要
EEG 是神经科学和临床应用中测量脑活动的重要工具，但信号异质性、低信噪比和标注数据有限制约了其潜力。作者提出 FoME，一种使用自适应时间—侧向注意力缩放的 EEG 基础模型。模型在包含头皮 EEG 与颅内 EEG 的 1.7 TB 多样化数据上预训练，参数量为 7.45 亿，训练约 109.6 万步。FoME 包含两项核心设计：时间—频率融合嵌入，以及自适应时间—侧向注意力缩放机制 ATLAS；二者协同捕捉复杂的时间和频谱动力学，使模型能够适应不同数据流中的模式并处理多通道信号。四项下游任务上的分类和预测评估显示，FoME 持续取得作者所报告的先进结果。作者据此认为，FoME 提供了一个可复用的 EEG 分析基础，有望支持脑机接口、临床诊断与认知研究。本期以同行评审后的正式期刊版本收录；同一工作的早期版本为 arXiv:2409.12454，不再单独列出。
RESEARCH RELEVANCE
与你研究的关系
论文事实：FoME 以 1.7 TB 头皮与颅内 EEG 训练 7.45 亿参数模型，并用时间—频率融合和可自适应分配时间/通道注意力的 ATLAS 支持多种任务。研究推断：在统一 fMRI–EEG 模型中，可以借鉴其时间—频率前端，但应把共享语义层与信号重建层分开；尤其要检查头皮和颅内数据混合后，性能究竟来自可迁移神经结构，还是设备、任务和数据集身份。
LIMITATIONS
局限与核查重点
这是 2024 年预印本的正式期刊版，不是全新工作；本期收录的依据是正式发表关系。公开摘要只概括四项分类与预测任务，没有给出跨被试、跨数据集和脑到内容生成的完整结果，也没有说明 1.7 TB 数据中的被试或数据集去重。模型规模很大，收益需要与预训练数据量、计算量和更小基线进行匹配比较。
SOURCE
来源与原文
Computerized Medical Imaging and Graphics · 2026-08-31 正式发表 · DOI:10.1016/j.compmedimag.2026.102817
Enze Shi, Kui Zhao, Qilong Yuan, Huawen Hu, Jiaqi Wang, Sigang Yu, Geng Chen, Dingwen Zhang, Yixuan Yuan, Yanning Zhang, Shu Zhang. FoME: A foundation model for EEG using adaptive temporal-lateral attention scaling. Computerized Medical Imaging and Graphics · 2026-08-31 正式发表 · DOI:10.1016/j.compmedimag.2026.102817. https://doi.org/10.1016/j.compmedimag.2026.102817