Brain-aligning of semantic vectors improves neural decoding of visual stimuli
Shirin Vafaei, Ryohei Fukuma, Takufumi Yanagisawa, Huixiang Yang 等
Communications Biology · Article · 2026-01-03
OVERVIEW
论文概览
把预训练图像和文本语义向量微调到脑表征几何，再跨 fMRI、MEG 与 ECoG 评估零样本视觉刺激解码。
ABSTRACT
中文摘要
通用视觉—语言嵌入包含丰富语义，但其几何结构未必最适合神经解码。作者提出将预训练图像和文本向量对齐到脑活动的表征结构，使语义距离更接近神经响应距离，再用调整后的向量完成视觉刺激识别。方法在 fMRI、MEG 和 ECoG 数据上测试，并覆盖不同记录尺度与解码设置。结果显示，脑对齐后的语义向量能够改善零样本和跨类别解码，说明性能瓶颈不仅来自脑信号到嵌入的映射，也来自目标语义空间本身。跨模态结果还表明，经过神经几何调整的语义结构具有一定可迁移性。
RESEARCH RELEVANCE
与你研究的关系
它直接支持你比较标准 CLIP、鲁棒 CLIP 与脑对齐空间的设想，并提示统一模型应把“目标空间学习”作为独立模块。
LIMITATIONS
局限与核查重点
对齐会把特定数据集和被试结构写入语义向量；需要严格检验未见被试、未见类别及跨数据集条件下的泛化。
SOURCE
来源与原文
Communications Biology · Article · 2026-01-03
Shirin Vafaei, Ryohei Fukuma, Takufumi Yanagisawa, Huixiang Yang 等. Brain-aligning of semantic vectors improves neural decoding of visual stimuli. Communications Biology · Article · 2026-01-03. https://www.nature.com/articles/s42003-025-09482-x