NEURAL DECODING RESEARCH INTELLIGENCE

脑解码论文简报

追踪统一多模态脑编解码、脑信号到图像/文本/视频、跨被试泛化、可控生成与模型驱动的神经科学发现。

统一基础模型脑到图像 / 文本 / 视频跨被试泛化可控生成机制发现
本期 · 202610-29

本期阅读导读

4 篇 · A 级 1 篇 · B 级 3 篇
  • 本期无高相关 fMRI 内容解码新增

    本期唯一收录的 fMRI 工作审计模型归因,而非恢复图像、文本或视频。它显示:同一次扫描拆半得到的网络重要性排序近乎一致,但跨次扫描明显下降,而且相当一部分一致性来自群体共享结构;个体化解释需要同时报告跨次复测和错配被试零假设。

  • EEG 接入语言模型,仍主要是封闭任务的统一接口

    OneEEG 把数值 EEG、波形图和文本指令接入同一多模态语言模型,并用任务感知投影器缓解多任务冲突。其训练与评估覆盖多种数据集和被试级划分,但答案仍来自预定义标签集合,不能据此视为开放式脑到语言解码。

  • 跨设备泛化开始从统一通道表转向空间坐标

    NOMAD-EEG 与 MtReNIRS 都把传感器位置显式写入模型:前者用三维电极坐标支持不同 EEG 通道数与排列,后者把异构 fNIRS 蒙太奇映射到共同皮层参照。两者都更接近可迁移前端,但现有证据主要来自分类、线性探针和少样本校准,而非跨模态语义生成。

PRIORITY READING

本期重点阅读

4 篇
A01
精读方法

OneEEG: A Unified Signal-Visual Multimodal Language Model with Task-Aware Mixture of Projectors for Multi-Task EEG Understanding

Jiacheng Zhang, Xueyi Zhang, Xin Lu, Siqi Cai, Haizhou Li

arXiv:2610.35355v1 · 2026-10-26 提交

EEG多模态语言模型统一基础模型任务感知投影跨被试评估
中文摘要完整摘要翻译

脑电图广泛用于临床评估、脑机接口和认知状态分析,但 EEG 建模仍分散在不同任务范式中。多模态大型语言模型为灵活的多模态推理提供了有前景的接口,但其理解 EEG 输入的能力仍然有限。作者提出 OneEEG:一个用于多任务 EEG 理解的统一 EEG—多模态语言模型框架。模型在作者整理的多任务 EEG 指令微调数据集 OneEEG-Instruct 上训练,同时建模数值 EEG 表示和视觉化 EEG 表示,并引入任务感知的投影器混合模块,将不同任务家族的异构 EEG 特征对齐到语言模型嵌入空间。作者还建立 OneEEG-Bench,用于评估现有多模态语言模型及所提方法的多任务 EEG 理解能力。实验显示,现有通用多模态语言模型解释 EEG 输入的能力有限;OneEEG 通过融合数值与视觉 EEG 表示,并采用任务感知的 EEG→语言模型投影,取得更强的整体表现。消融和深入分析进一步考察了 EEG 波形图、不同投影器混合设计、路由行为及跨任务特征离散程度的影响。

与你研究的关系

论文事实:OneEEG 使用 EEGPT 数值编码器与 Qwen2.5-VL-7B 主干,把数值信号、波形图和文本指令拼接为统一输入;OneEEG-Instruct/Bench 覆盖运动、状态、临床、事件、睡眠和警觉六类任务,并在可获得身份信息时按被试划分训练与评估。研究推断:统一 fMRI–EEG 模型可以借鉴‘共享语言主干+模态前端+任务感知投影器’,但投影路由还应同时审计任务、数据集和被试身份,确认共享空间保留的是刺激语义而非标签体系。

局限与核查重点

OneEEG 的问答主要是多选题和是非题,答案由原数据集标签或预先计算的幅值、频带等属性生成;它统一了交互接口,但没有展示开放式 brain-to-text、脑到图像或未知语义类别生成。六类任务中相当部分属于运动想象、睡眠、疾病和事件分类,不能因接入 LLM 就自动视为高层认知理解。非标准通道数据只走波形图分支,可能利用绘图格式或视觉纹理捷径。当前为未经同行评审的预印本。

B02
精读实验

How Reliable Is Individualized Functional-Network Attribution in Resting-State fMRI Cognitive Prediction in ADNI?

Sheethal Bhat, Mahfuzur Rahman Chowdhury, Imam Ahmed Shaik, Rose Dawn Bharath, Siming Bayer, Andreas Maier

arXiv:2610.37472v1 · 2026-10-27 提交

fMRI模型归因复测可靠性个体化解释置换零假设
中文摘要完整摘要翻译

个体化归因试图估计哪些功能网络驱动了模型对某位被试的预测,并常被建议作为一种可解释的静息态 fMRI 生物标志物,但其重测可靠性很少被量化。作者评估一个冻结的静息态功能连接预测器在个体层面的网络消融归因:该模型使用 Schaefer-200 功能连接预测 MMSE 和 ADAS-Cog13,并在阿尔茨海默病神经影像计划的 875 名被试上训练。可靠性通过三种设置检验:同一 session 的拆半比较、74 名被试共 205 对基线—复测访问的跨扫描比较,以及被试级置换零假设;复测间隔中位数为 24.4 个月。同一 session 拆半的 Spearman 相关接近上限,两个认知目标分别为 0.948 和 0.950;跨扫描则降至 0.609 和 0.616。在错配被试零假设下,相关仍约为 0.46–0.47,说明归因包含很强的群体共享结构;但正确配对仍显著超过零分布,z 约为 6.6–6.9,p 不高于 10⁻⁴。因此,ADNI 中的个体化网络归因是在强群体共享模式之上叠加了较小但非零的个体特异成分。作者建议同时报告跨扫描可靠性与置换零假设,而不要只用同一次扫描内部的代理指标,以免夸大个体特异性。

与你研究的关系

论文事实:作者固定预测模型,逐一消融七个 Yeo 网络,以每名被试的网络重要性排序作为归因签名,并用跨 session 复测和错配被试置换区分测量稳定性、群体共享结构与个体特异成分。研究推断:解释 fMRI→CLIP、脑到文本或生成模型的 ROI 归因时,也应把同一次数据重采样、跨 session 复测和错配被试零假设设为递进门槛;高拆半一致性不能单独证明解释属于该个体。

局限与核查重点

任务是静息态功能连接预测认知量表,并非内容解码或生成,因此只列 B 级。归因只有七个网络的排序,较低维度会限制对细粒度个体差异的判断;24.4 个月的中位复测间隔还混合了真实疾病进展与测量误差。网络清零消融可能产生训练分布外输入,结果不一定代表因果脑区作用。当前结论局限于 ADNI、特定连接构造和一个冻结预测器。

B03
精读方法

MtReNIRS: A Self-Supervised Foundation Model for Transferable Neurovascular Representations

Tony Chae, Kleanthis Avramidis, Dimitra Emmanouilidou, Ivan J. Tashev

arXiv:2610.36159v1 · 2026-10-26 提交 · 已投稿 IEEE Open Journal of Signal Processing

fNIRS基础模型自监督学习跨设备迁移跨被试泛化
中文摘要完整摘要翻译

功能近红外光谱为在自然情境中监测神经活动的血流动力学相关信号提供了有前景的路径。然而,由于采集设备和光极布局高度异质,现有 fNIRS 建模方法大多局限于小规模、单 session 和低采样率数据;fNIRS 复杂的时空结构也进一步限制模型在不同设置间的规模化与迁移。因此,一个 fNIRS 编码器能否学习可跨被试、任务、设备和蒙太奇使用的表示仍不明确。作者表明,一个具备蒙太奇感知能力的掩码自编码器,在 12 个公开 fNIRS 数据集、268 名被试和 567 小时记录上预训练后,能够学习可泛化的神经血管表示,并迁移到三个外部数据集。MtReNIRS 通过把异构蒙太奇映射到共同解剖参照,同时编码 fNIRS 缓慢的血流动力学特性、发色团身份和皮层位置。模型的跨被试表现达到或超过全监督基线,在被试内少样本校准中优于既有 fNIRS 方法,并对稀疏蒙太奇保持稳健。结果表明,蒙太奇感知的自监督学习能够产生具生理基础、可迁移的 fNIRS 表示,为低标签脑机接口提供可扩展的基础。

与你研究的关系

论文事实:MtReNIRS 把 12 个公开数据集的异构光极布局映射到共享皮层坐标,用掩码重建预训练统一编码器,并在三个外部数据集上测试跨被试、少样本和稀疏蒙太奇迁移。研究推断:统一 fMRI–fNIRS 模型可以共享血流动力学语义层,同时分别保留体素/ROI 坐标与光极—皮层映射;真正跨模态前还应使用相同刺激检验共享潜空间,而不只是比较各自的分类准确率。

局限与核查重点

这是 fNIRS 基础模型,不包含 fMRI,也没有脑到图像、文本或视频生成,因此按较低模态优先级列为 B 级。摘要强调跨数据集迁移,但下游任务是否共享标签、采集人群和实验范式仍需逐项核查;强少样本表现也不等于零样本新设备泛化。共同解剖参照会压缩个体血管和光路差异,模型可能学习任务或设备统计而非认知内容。当前为投稿中的预印本。

B04
仅跟踪

NOMAD-EEG: Native Omni-Montage Adaptive Diffusion

Abdulkader Helwan, Khadidja Henni, Lina Abou-Abbas

arXiv:2610.35246v1 · 2026-10-26 提交

EEG生成式基础模型扩散模型任意蒙太奇跨设备迁移
中文摘要完整摘要翻译

EEG 的蒙太奇、通道数量和记录长度差异很大,但多数 EEG 基础模型仍绑定于训练时使用的通道集合和输入长度。作者旨在构建一个不依赖电极数量、身份、排列顺序或输入长度的生成式 EEG 基础模型。NOMAD-EEG 是一个 1,200 万参数的扩散模型:模型沿时间方向交替使用不分 patch 的状态空间层,并在电极之间执行注意力;每个电极仅由其三维头皮坐标标识。模型在单一语料的 147 小时无标签 EEG 上预训练,并以冻结线性探针在十个含 1–64 个电极的数据集上与七个基础模型按统一协议比较,同时测试两个未见人群。尽管规模较小、预训练只来自一个语料,NOMAD-EEG 在 EEGMMIDB 运动想象、Siena 癫痫检测和 Bonn 癫痫检测上优于全部七个比较模型,在 TUEP 癫痫诊断上取得比较模型中的最高准确率;微调后,它还在 TUEV 事件分类上取得最高的 κ 和加权 F1。在一个未见的八电极自闭症人群 P300 检测任务上,它在五个模型中表现最佳;把 19 个电极减至 5 个时,平均 AUROC 仅从 0.942 降至 0.891。结果表明,以空间位置标识电极并连续建模时间,可以让小型单语料预训练模型在多项任务上超过更大的 EEG 基础模型。

与你研究的关系

论文事实:NOMAD-EEG 以三维电极坐标而非固定通道表构造 token,并用生成式扩散预训练支持可变通道数和序列长度;作者统一重跑多个基础模型,并加入未见蒙太奇、缺失电极、随机初始化和未见人群对照。研究推断:它适合作为统一 fMRI–EEG 系统的 EEG 前端:保留空间坐标与连续时间后,再把潜变量对齐到 fMRI ROI 和刺激语义;对齐前应检验生成式预训练究竟保留了个体、设备还是内容信息。

局限与核查重点

主要证据来自癫痫、P300、运动想象、睡眠和疾病分类,没有脑到图像、文本或视频任务,按范围仅作为 B 级方法连接。预训练只有 147 小时单一语料,所谓 foundation model 的数据覆盖仍有限;在帕金森病外部人群上它也不是最佳模型,部分任务随机初始化可匹配预训练。电极坐标解决布局差异,但不能自动处理参考方式、阻抗、设备频响和人群差异。当前为未经同行评审的预印本。

CURATED JOURNALS & CONFERENCES

精选期刊与顶会专题

按年度与发表渠道追踪

按发表渠道阅读脑科学研究,结合 领域发展 理解技术脉络。本次新增 ICLR、NeurIPS 与 ECCV 2026,聚焦真实脑信号、脑编解码与神经表征。

随机精选每次进入随机展示,可用箭头切换
1 / 80
CVPR 2026A 级重点

More Natural, More Real: Object-aware Gaussian Splatting for 3D Visual Decoding from Human Brain

Haodong Jing, Dongyao Jiang, Jixin Wang, Junhao Jia, Yanshu Li, Yongqiang Ma, Nanning Zheng

CVPR 2026 · Computer Vision Foundation Open Access

fMRIEEGbrain-to-3D可控生成

统一处理 fMRI 与 EEG,并把视觉、语义、颜色和多视角结构注入 3D Gaussian Splatting,实现脑信号到三维物体的生成。

中文摘要

BrainGS 面向三维视觉刺激的脑解码,使用融合时空网络编码 fMRI 与 EEG,再以多属性控制器把视觉、语义和颜色作为锚点解耦脑表征,并用多视角稳定器约束不同观察视角之间的一致性,最终驱动 3D Gaussian Splatting 重建三维物体。作者报告其在定性与定量评估中取得更真实且一致的结果。

与你研究的关系

它是统一脑编解码和可控生成的直接参考:同一框架处理两类脑信号,并用多种语义控制量驱动三维生成。