Linguistic Properties and Model Scale in Brain Encoding: From Small to Compressed Language Models
Subba Reddy Oota, Vijay Rowtula, Satya Sai Srinath Namburi, Khushbu Pahwa, Anant Khandelwal, Manish Gupta, Tanmoy Chakraborty, Bapi S. Raju
ICML 2026 Spotlight · OpenReview
OVERVIEW
论文概览
系统比较小型、大型和压缩语言模型的脑预测性，区分语言能力、参数规模与神经对齐之间的关系。
ABSTRACT
中文摘要
作者用不同规模及不同压缩方式的语言模型预测语言任务中的脑活动。结果显示，约 3B 参数的小型语言模型在脑预测性上可接近更大的 14B 模型，而 1B 模型的下降主要出现在语义相关区域。量化和剪枝通常对脑预测性影响有限，但某些方法（如 GPTQ）会带来更明显损失。一个重要现象是：压缩可能降低语言学探针得分，却不一定同步降低脑预测性，说明常用语言能力指标与神经对齐并非同一维度。
RESEARCH RELEVANCE
与你研究的关系
为统一模型选型提供实际依据：更大的语言骨干未必更适合作为脑表征目标，压缩模型也可能保留关键神经对齐结构。
LIMITATIONS
局限与核查重点
脑预测性基于特定数据与编码指标，不能直接外推到生成式 brain-to-text 的忠实度。
SOURCE
来源与原文
ICML 2026 Spotlight · OpenReview
Subba Reddy Oota, Vijay Rowtula, Satya Sai Srinath Namburi, Khushbu Pahwa, Anant Khandelwal, Manish Gupta, Tanmoy Chakraborty, Bapi S. Raju. Linguistic Properties and Model Scale in Brain Encoding: From Small to Compressed Language Models. ICML 2026 Spotlight · OpenReview. https://openreview.net/forum?id=GK6WWEwHek