BIT-LLM: Brain Instruction Tuned LLM with Persistent Cross-Attention for fMRI-to-Text Decoding
Sunghwan Lee, Jihun Kim, Chae Lynn Kim, Ji Yun Park, Jong-Hwan Lee
ICML 2026 主会 · OpenReview
OVERVIEW
论文概览
把 fMRI 表征作为持续条件注入语言模型，而不是只在生成开头提供一次脑信号提示，用于开放式脑到文本解码。
ABSTRACT
中文摘要
该工作研究如何让大语言模型稳定利用低时间分辨率且高噪声的 fMRI 信号生成文本。BIT-LLM 通过脑指令微调建立脑活动与语言生成之间的映射，并设计 persistent cross-attention，使解码过程中每一层或多个生成阶段都能重新访问脑表征，减少长文本生成时神经条件逐渐消失的问题。模型把神经编码器与语言模型结合，在 fMRI 到文本任务中评估语义恢复和语言质量，旨在同时保留脑信号约束与预训练语言模型的生成能力。
RESEARCH RELEVANCE
与你研究的关系
这是统一 brain–language 解码器的重要设计参考：共享脑潜变量不应只作为一次性 prompt，而应在自回归生成全程保持可访问。
LIMITATIONS
局限与核查重点
需要进一步核查跨被试划分、语言先验贡献和消融；流畅文本不等于脑信号中的具体语义被忠实解码。
SOURCE
来源与原文
ICML 2026 主会 · OpenReview
Sunghwan Lee, Jihun Kim, Chae Lynn Kim, Ji Yun Park, Jong-Hwan Lee. BIT-LLM: Brain Instruction Tuned LLM with Persistent Cross-Attention for fMRI-to-Text Decoding. ICML 2026 主会 · OpenReview. https://openreview.net/forum?id=HZhlRnJOHq