Scaling Parameter-Efficient Fine-Tuning for Brain Encoding
Zhuofan Josh Ying, Guanglong Sun, Nolan Ho, Kieran Liu, Rui Yang, Andrew Chen, Nikolaus Kriegeskorte, Pony Ma, Hossein Adeli
arXiv:2610.26802v1 · 2026-10-19 提交 · 10 月 20 日后进入新论文列表
ABSTRACT
中文摘要
脑编码模型旨在根据刺激预测神经响应，主流方法通常冻结预训练主干，只拟合一个神经读出层。由于神经数据昂贵且有限，从头训练大模型或对任务预训练模型进行全量微调一直很困难。作者证明，参数高效微调能够用少量可训练参数有效适配超大规模预训练主干。为使计算可行，方法利用因果主干的结构，在一次前向传播中预测多个时间点，而不再反复使用滑动窗口，从而显著降低特征提取成本。该设计支持对最高 104B 参数的多模态主干进行神经适配。BrainLoRA 由低秩适配器和轻量读出层组成，在九种不同多模态主干上持续改善脑编码性能；在与既有最佳方法相同的 Qwen3-Omni 主干上，它以约 5% 的可训练参数取得作者报告的 Algonauts 2025 最佳公开结果。模态归因恢复出经典感觉拓扑，并显示神经适配提高了音频输入和主干内部跨模态混合的贡献。作者还开发多 LoRA 内核，在共享主干上并行训练适配器，使 200 多个适配模型的集成在写作时位居公开赛后排行榜第一。
RESEARCH RELEVANCE
与你研究的关系
论文事实：BrainLoRA 用 CNeuroMod/Algonauts 2025 的自然电影 fMRI 适配九种多模态主干，规模最高达到 104B；因果批量预测、LoRA 和轻量读出共同降低计算成本，模态归因用于检查视觉、音频及跨模态贡献。研究推断：统一 fMRI 编解码模型可把共享大主干冻结，仅为模态、被试或数据集配置可组合的低秩适配器；但选择适配器时应同时看未知电影、未知被试和新数据集，而非只看同一挑战排行榜。
LIMITATIONS
局限与核查重点
这是刺激→fMRI 的前向编码，不是 fMRI→图像、文本或视频解码。最强结果使用超过 200 个模型的集成，单模型方法收益、规模效应与集成收益需要分开判断；排行榜数据也不能替代独立外部验证。模态归因恢复经典拓扑说明模型具有可解释信号，但不证明内部机制与大脑相同。当前为预印本。
SOURCE
来源与原文
arXiv:2610.26802v1 · 2026-10-19 提交 · 10 月 20 日后进入新论文列表
Zhuofan Josh Ying, Guanglong Sun, Nolan Ho, Kieran Liu, Rui Yang, Andrew Chen, Nikolaus Kriegeskorte, Pony Ma, Hossein Adeli. Scaling Parameter-Efficient Fine-Tuning for Brain Encoding. arXiv:2610.26802v1 · 2026-10-19 提交 · 10 月 20 日后进入新论文列表. https://arxiv.org/abs/2610.26802