Leveraging unlabelled data for generalizable neural population decoding

ABSTRACT

中文摘要

稳健且准确的神经解码器是脑机接口和闭环实验等神经技术的重要组成部分。近期研究表明，在尖峰层面对神经数据进行 token 化，有利于开展多 session 预训练，并能取得当前最先进的解码性能。然而，现有基于尖峰的模型仍局限于监督学习，因此训练只能使用同时具有行为标签的数据。为解决这一限制，作者提出 MOJO（Masked autOencoder-based JOint training），这是一种面向尖峰 token 化模型的联合训练框架，通过掩码自编码的自监督学习目标与监督学习目标共同利用数据。作者在三个尖峰数据集上评估 MOJO，这些数据覆盖猴运动皮层到达任务，以及小鼠多脑区视觉与决策任务；结果表明，MOJO 优于纯监督学习模型。提升在标注数据有限时尤其明显，特别是在新 session 只有少量标注数据可用于少样本微调的设置中。加入自监督学习还产生了更具可解释性的神经元表征：即使没有针对脑区分类和尖峰统计预测进行显式优化，这些任务的表现也得到改善。作者进一步证明，MOJO 不只适用于尖峰数据；在人类言语任务的皮层脑电图（ECoG）上，它仍优于纯监督学习模型，并取得了与专为连续信号设计的神经基础模型相当的表现。总体而言，在尖峰 token 化模型中加入自监督学习，可以改善标注稀缺场景下的性能，使未标注数据能够跨任务、跨物种使用，并泛化到其他神经信号模态。这些结果为训练更灵活、更可扩展的神经基础模型提供了一条路径。