MEG-XL: Data-Efficient Brain-to-Text via Long-Context Pre-Training

ABSTRACT

中文摘要

多数脑到文本模型只利用短时间窗，难以学习语言过程跨句子和跨分钟的结构。MEG-XL 将每个样本的上下文扩展到约 2.5 分钟，比常见设置长 5 至 300 倍，并在约 19.1 万个 token 的连续神经—语言数据上进行长上下文预训练。作者报告，在仅使用约 1 小时标注数据微调时，模型可达到传统监督方法使用约 50 小时数据的水平，并优于若干脑信号基础模型，说明上下文规模可能比单纯增大参数更能提升数据效率。