Evaluation Resolution Confounds Learning-Rule Comparisons in Model-Brain RSA of Early Visual Cortex

ABSTRACT

中文摘要

表征相似性分析（RSA）越来越常被用来判断不同学习规则是否能使卷积网络形成更接近大脑的表征。由于反馈对齐、预测编码和脉冲时序依赖可塑性等生物合理学习规则难以扩展，相关研究通常在低分辨率的小图像上训练小型网络，再把这些模型与使用更高分辨率刺激建立的脑响应进行比较。本文发现，一个常见结论——未经训练或采用局部学习规则的网络在早期视觉皮层能够匹敌甚至超过反向传播——高度依赖模型接受评估时的图像分辨率。在 32 像素训练分辨率下，V1 中未训练网络与反向传播网络的差距为 −0.001±0.007；当评估分辨率升至 224 像素时，差距扩大到 +0.044±0.006，并在六个分辨率、五个随机种子上单调增长。该模式在人类 fMRI 中成立，在单种子猕猴电生理数据、训练轨迹，以及以 224 像素训练的 ImageNet ResNet-50 和 Swin-Tiny 中也呈方向一致的结果。作者检验了训练与评估分辨率是否匹配、低层 Gabor 或像素结构、未训练基线的归一化状态、池化描述符是否收敛为全局亮度统计等四种机制，但均不能解释该效应。第五项实验发现，在把图像细节限制在训练分辨率、同时让池化位置增加 12 倍后，约 90% 的分辨率效应消失，说明问题主要由图像细节而不是池化造成。单一的图像亮度标量与 V1 表征差异矩阵的相关达到 0.075，几乎等于未训练网络的 0.076，揭示了这类比较的分辨率上限。唯一跨分辨率稳定的学习效应是 LOC 中反向传播网络优于未训练网络。