The Capacity of Thought: Benchmarking Llama 3.2 in Semantic fMRI Neural Language Decoding and Improving the Huth Encoding-Model Baseline

ABSTRACT

中文摘要

从 fMRI 信号解码连续语言仍是非侵入式脑机接口研究的核心挑战。本文开展两项互补研究。第一，作者通过扩大体素选择范围（从 10K 增至 15K）、在束搜索候选生成模型中以 GPT-2 medium 替换 GPT-1，以及采用 GPU 加速的 bootstrap 训练，改进了 Huth 等人的岭回归编码流程。在被试 UTS03 的三段留出叙事上，该流程取得平均 METEOR=0.149、BLEU-1=0.200，相比复现基线的 METEOR 相对提高 11%。第二，作者提出 fMRIFlamingo：利用学习得到的脑 tokenizer 和 Perceiver Resampler，将 BOLD 活动映射到冻结的 Llama-3.2-1B，并只训练门控交叉注意力层。尽管模型在 100 选 1 排序任务上取得 42.86% 的 Top-1 准确率，明显高于随机水平，但把 fMRI 输入全部置零的盲对照消融得到了几乎相同的分数。这说明表面上的解码成功主要由冻结语言模型的先验驱动，而不是来自神经输入。这些结果表明，高容量语言模型并不会天然改善 fMRI 解码；如果缺少严格的盲对照，它们反而可能掩盖模型失败。