Real-time Reconstruction of Human Visual Perception from fMRI
Rishab S. Iyer, Jiaxin Cindy Tu, Cesar Kadir Torrico Villanueva, Anish Mahishi, Ross P. Kempner, Jacob S. Prince, Ernest W. Lo, Akash Bhowmick, Hritik Arasu, Amaar Chughtai, Elizabeth A. McDevitt, Paul S. Scotti, Kenneth A. Norman
arXiv:2607.22753v1 · 2026-07-23 提交，2026-07-28 神经科学分类发布
ABSTRACT
中文摘要
基于功能磁共振成像（fMRI）的实时闭环神经反馈已经推动了重要的科学和临床进展。然而，实时 fMRI 所使用的分析方法仍明显落后于当前最先进的 fMRI 解码技术，主要原因是计算限制：多数先进解码流程无法满足实时处理的时间要求，因为分析必须在数秒内完成，而且不能利用本次实验稍后才采集的数据。本文提出一种与实时处理兼容的方案，对计算量较大的先进自然图像重建流程 MindEye2 进行适配，并证明在这一限制下仍能实现可靠的细粒度解码。作者使用开源、可扩展的云端平台 RT-Cloud 开展实时扫描，在图像呈现给参与者后的数秒内，对单试次视觉知觉进行解码。最后，研究通过模拟分析记录并分解了从离线分析切换到实时分析时造成性能变化的因素。该工作以概念验证的形式说明，强大的 fMRI 解码流程可以部署到实时分析中，为其进一步用于科学发现和临床治疗中的脑机接口奠定基础。
RESEARCH RELEVANCE
与你研究的关系
论文事实：作者把 MindEye2 改造成不能使用未来扫描数据、必须在数秒内完成的实时流程，并通过 RT-Cloud 实现单试次自然图像知觉重建。研究推断：你的统一 fMRI↔CLIP 模型和脑区干预实验可以进一步发展为真正的闭环系统：预测当前 fMRI、执行受约束的 ROI 干预或反馈，再实时观察下一试次的表征变化；同时应把离线预处理、实时因果预处理和生成延迟分别报告，避免把离线可用信息泄漏到实时结果中。
LIMITATIONS
局限与核查重点
摘要没有提供参与者数量、具体延迟、重建指标、跨被试泛化结果和与离线 MindEye2 的量化差距。概念验证证明了实时可行性，但不能据此断言其已达到稳定临床使用标准；还需重点核查头动、漂移、HRF 延迟、在线标准化和生成模型先验对单试次结果的影响。
SOURCE
来源与原文
arXiv:2607.22753v1 · 2026-07-23 提交，2026-07-28 神经科学分类发布
Rishab S. Iyer, Jiaxin Cindy Tu, Cesar Kadir Torrico Villanueva, Anish Mahishi, Ross P. Kempner, Jacob S. Prince, Ernest W. Lo, Akash Bhowmick, Hritik Arasu, Amaar Chughtai, Elizabeth A. McDevitt, Paul S. Scotti, Kenneth A. Norman. Real-time Reconstruction of Human Visual Perception from fMRI. arXiv:2607.22753v1 · 2026-07-23 提交，2026-07-28 神经科学分类发布. https://arxiv.org/abs/2607.22753