Mind the Parameters: Lightweight and Efficient Brain Visual Decoding with Shared Tensor Cores

ABSTRACT

中文摘要

连接脑活动与视觉感知的计算表征，是神经科学与机器学习交叉领域的核心目标。然而，fMRI 跨被试解码仍具有挑战，因为不同个体的神经响应差异显著，而现有方法经常依赖被试特异微调或参数量庞大的解码器。这限制了对未见被试的泛化，也妨碍高效部署。我们提出 BrainTC，即 Brain Tensor Cores，一种基于共享张量分解的轻量级跨被试脑视觉解码框架。BrainTC 通过共享张量核心对齐模块，把共享功能结构与被试特异变异分离：该模块利用共享张量基和被试残差因子，将各 ROI 的响应映射到共同功能空间。它既支持未见被试的零样本解码，也支持只更新残差参数的少样本适配。随后，我们开发采用张量化注意力的 Brain Tensor-Transformer，以紧凑地建模 ROI 间依赖，并结合分层神经到视觉映射模块进行多层次视觉预测。实验表明，BrainTC 在显著提高参数效率的同时，取得有竞争力的跨被试解码性能，尤其改善了对未见被试的零样本泛化。