Fine-tuning language encoding models on slow fMRI improves prediction for fast ECoG

ABSTRACT

中文摘要

神经科学家近年来转向皮层脑电图（ECoG）等颅内脑记录方法开展人体实验，因为这些方法具有精细的时空分辨率。然而，基于这类数据训练的模型，根本上受到能够接受必要植入记录装置的患者群体规模限制。我们提出利用非侵入式 fMRI 弥补训练数据缺口。使用在 fMRI 上微调的口语语言表征，我们构建 ECoG 编码模型。尽管 fMRI 时间分辨率差了两个数量级，这些表征仍改善了 ECoG 的预测性能，且预测改善出现在远超 fMRI 直接测量范围的频带中。接着，为测试该流程的泛化能力，我们用时间上进一步下采样两倍的 fMRI 响应微调模型。尽管分辨率损失，这些模型仍以与原始 fMRI 微调模型相当的水平预测 fMRI 和 ECoG 响应。最后，我们表明，ECoG 性能随着 fMRI 微调数据量增加而稳定提升。结果显示，fMRI 这样的“慢”数据可以成为构建更好“快”脑数据模型的宝贵资源。未来，整合多种记录方法或可进一步改善解码等其他应用。