Scaling subjects in cross-modal alignment: video decoding with EEG foundation model

ABSTRACT

中文摘要

自然视频 EEG 解码长期受到参与者规模限制，既有扩展研究通常只有几十名被试，因此常得出增加被试数量收益有限的结论。作者使用比以往大一个数量级以上的队列，训练 EEG–视频对比编码器，并系统测量性能随参与者数量的变化。在约 50 名参与者以下，无论模型如何增加数据，表现都没有明显优于未训练编码器；超过这一规模后，解码能力随参与者数量近似对数线性上升，在最大的训练规模上仍未出现饱和。这一规律同时出现在需要拟合的刺激特征探针和无需拟合的电影片段检索中，并能迁移到第二部训练时未见的电影。扩展速度主要取决于初始化而非模型容量：由 EEG 基础模型初始化的编码器，每当队列规模翻倍时，性能提升速度约为随机初始化的 1.6 倍；它也是在最大规模处仍能把新增被试转化为检索收益的唯一设置，并以更少对齐计算收敛。结果说明，共享自然刺激下的被试规模化是 EEG–视频对齐中有效、尚未饱和的扩展轴。