NiCLIP: Neuroimaging Contrastive Language-Image Pretraining Model for Predicting Text from Brain Activation Images

ABSTRACT

中文摘要

多年来，从脑激活图预测认知过程一直是神经科学中的开放问题。基于元分析的功能解码方法试图通过定量估计特定脑区对应的行为特征来解决这一问题。然而，现有方法在神经影像元分析中面临固有挑战，尤其是在整合论文中的文本信息时，往往依赖无法捕捉文本语义上下文的有限指标。将大语言模型（LLM）与 CLIP 等深度对比学习模型结合，用于对齐文本和图像，可能为功能解码提供新的解决方案。本文提出 NiCLIP，一种用于根据脑激活模式预测认知任务、概念和领域的对比式语言—图像预训练模型。作者利用超过 23,000 篇神经科学论文训练文本—脑关联的 CLIP 模型。对 NiCLIP 预测结果的评估显示：使用论文全文而非摘要，并采用具有精确“任务—概念—领域”映射的认知本体，可以获得更好的性能。此外，领域专门微调的语言模型（如 BrainGPT）与其基础语言模型的性能在数值上相近。结果表明，NiCLIP 能够根据 Human Connectome Project 提供的群体水平激活图，在情绪、语言和运动等多个领域准确预测认知任务，并精确刻画杏仁核、海马和颞顶联合区等特定脑区的功能作用。不过，面对噪声较大的被试水平激活图时，NiCLIP 存在局限。NiCLIP 为神经影像的定量功能解码提供了重要推进，也为假设生成和科学发现提供了工具。