Visual Semantic Decoding of Electrocorticography from Video Stimuli using End-to-End Deep Learning
Stella Ho, Joel Villalobos, Joseph West, Jingyang Liu, Weijie Qi, Haruhiko Kishima, Ryohei Fukuma, Takufumi Yanagisawa, Sam E. John, David B. Grayden
arXiv:2607.18923v1 · 2026-07-21 提交
ABSTRACT
中文摘要
对动态视觉内容进行神经解码，有望揭示人脑如何表征复杂的现实世界视觉信息，但 ECoG 数据集通常规模较小，而且不同患者的电极覆盖差异很大。本文研究能否使用端到端深度学习，从观看视频时记录的时序 ECoG 信号中预测视觉语义类别。研究包含 17 名癫痫患者，每个类别的训练样本少于 50 个。作者系统比较数据增强方式、神经网络架构、频带与刺激后时间窗。最佳配置使用 mixup 增强、Transformer 编码器、80–150 Hz 高频伽马活动，以及刺激出现后 900 毫秒的响应窗口。模型无需人工设计特征，即可在受限数据条件下学习具有判别力的时空神经表示。对模型进行频谱、时间与皮层位置分析后发现，早期视觉区 V2–V4、腹侧视觉通路、MT+ 邻近区域以及外侧颞叶皮层都为视频语义分类提供信息。结果表明，端到端模型能够从稀疏且跨个体异质的 ECoG 记录中恢复动态视觉语义，并为理解视觉信息沿皮层层级的分布式编码提供可解释证据。
RESEARCH RELEVANCE
与你研究的关系
论文事实：研究在 17 名参与者、每类不足 50 个样本的条件下直接从视频诱发 ECoG 解码视觉语义，并定位了高频伽马、关键时间窗与多级视觉皮层贡献。研究推断：统一脑—视频模型可以把 ECoG 的高时间分辨率与 fMRI 的空间分辨率放入共享视频语义空间，同时保留模态专属时间和空间分支；该论文的频带、窗口和皮层归因也可作为多模态共享表示是否丢失神经结构的检查项。
LIMITATIONS
局限与核查重点
论文目前是未经同行评审的预印本；任务是有限类别的语义分类，不是视频重建或生成。参与者均为临床植入患者，电极位置不一致，而且摘要没有说明真正的留一被试泛化结果，因此不能把跨患者数据汇总直接视为跨被试泛化。
SOURCE
来源与原文
arXiv:2607.18923v1 · 2026-07-21 提交
Stella Ho, Joel Villalobos, Joseph West, Jingyang Liu, Weijie Qi, Haruhiko Kishima, Ryohei Fukuma, Takufumi Yanagisawa, Sam E. John, David B. Grayden. Visual Semantic Decoding of Electrocorticography from Video Stimuli using End-to-End Deep Learning. arXiv:2607.18923v1 · 2026-07-21 提交. https://arxiv.org/abs/2607.18923