Parallel hierarchical encoding of linguistic representations in the human auditory cortex and recurrent automatic speech recognition systems
Menoua Keshishian, Gavin Mischler, Samuel Thomas, Brian Kingsbury, Stephan Bickel, Ashesh D. Mehta, Nima Mesgarani 等
Nature Machine Intelligence · Article · 2026-02-17
OVERVIEW
论文概览
把人类听觉皮层的颅内记录与循环自动语音识别系统逐层比较，检验声学、音素、词汇与语义层级是否并行出现。
ABSTRACT
中文摘要
人脑与自动语音识别系统都把连续声波转换为语言表征，但二者的层级组织是否相似并不清楚。研究使用人类听觉皮层颅内记录，比较循环语音识别网络不同层对神经活动的预测能力，并区分声学、音素、词汇和语义变量。结果显示，模型层级与皮层区域之间存在系统的拓扑对应：早期模型层更接近初级听觉区域，较深层则更能解释高级语言区域；与此同时，多种语言表征并非严格串行，而是在模型和皮层中以部分重叠、并行层级的方式编码。作者进一步分析了循环时间动态，说明语音识别系统的状态演化可用于解释听觉皮层中的多尺度处理。
RESEARCH RELEVANCE
与你研究的关系
它为统一脑—语音—语言模型提供具体对齐对象：不仅对齐最终文本嵌入，还应保留从声学到语义的层级与时间递归结构。
LIMITATIONS
局限与核查重点
颅内电极覆盖不完整且来自临床人群；人工模型与皮层的层级相似性可能受任务和训练数据共同驱动。
SOURCE
来源与原文
Nature Machine Intelligence · Article · 2026-02-17
Menoua Keshishian, Gavin Mischler, Samuel Thomas, Brian Kingsbury, Stephan Bickel, Ashesh D. Mehta, Nima Mesgarani 等. Parallel hierarchical encoding of linguistic representations in the human auditory cortex and recurrent automatic speech recognition systems. Nature Machine Intelligence · Article · 2026-02-17. https://www.nature.com/articles/s42256-026-01185-0