Visual semantic encoding and identification of naturalistic movies via high-density diffuse optical tomography
Wiete Fehner, Morgan Fogarty, Jerry Tang, Dana Wilhelm, Aahana Bajracharya, Zachary E. Markow, Amelia M. Hines, Jason W. Trobaugh, Alexander G. Huth, Joseph P. Culver et al.
Communications Biology · 2026-09-04 正式发表 · DOI:10.1038/s42003-026-10854-0
ABSTRACT
中文摘要
理解大脑如何在真实世界情境中表征意义，对基础神经科学和临床应用都很重要；但既有方法通常依赖受限的扫描环境，传统功能近红外光谱也常受稀疏采样或区块设计限制。作者证明，高密度弥散光学断层成像能够支持自然情境下的语义编码与解码。研究让 6 名参与者观看合计 3.5 小时的自然电影，并使用 1,708 个语义类别描述刺激内容。编码模型可以预测体素级 DOT 响应，得到与既有 fMRI 研究一致的单类别语义图谱。DOT 响应还包含足以识别参与者所看片段的语义信息。进一步分析发现，一个共享的低维语义空间能够捕获参与者之间的共同结构；聚类后出现了可解释的高阶维度，例如有生命对象和社会性主体。结果表明，HD-DOT 可以从自然电影中恢复分布式、高维语义表征，为难以进入 fMRI 环境的人群和真实行为场景中的自然神经成像提供新路径。
RESEARCH RELEVANCE
与你研究的关系
论文事实：HD-DOT 在 6 名参与者、3.5 小时自然电影和 1,708 个语义类别上实现体素级编码、片段识别与跨参与者共享低维语义空间，并恢复出与 fMRI 文献一致的语义图谱。研究推断：它可作为 fMRI 与可穿戴光学成像之间的桥梁：用同一电影和同一语义标签训练共享核心，再分别保留 fMRI 的高空间分辨率与 DOT 的可移动采集优势；若共享空间能在新被试和新影片上迁移，就可能把扫描仪内模型推进到更自然的闭环解码。
LIMITATIONS
局限与核查重点
样本仅 6 人，当前任务是已观看视频片段的识别和编码，而不是开放域视频重建。电影的连续时间结构、低层视听特征和片段身份可能形成捷径；论文摘要也未说明完全未见影片、留一被试和仅低层特征基线的结果。该文目前是同行评审后提前在线版本，仍可能在最终版本记录前经历编辑。
SOURCE
来源与原文
Communications Biology · 2026-09-04 正式发表 · DOI:10.1038/s42003-026-10854-0
Wiete Fehner, Morgan Fogarty, Jerry Tang, Dana Wilhelm, Aahana Bajracharya, Zachary E. Markow, Amelia M. Hines, Jason W. Trobaugh, Alexander G. Huth, Joseph P. Culver et al.. Visual semantic encoding and identification of naturalistic movies via high-density diffuse optical tomography. Communications Biology · 2026-09-04 正式发表 · DOI:10.1038/s42003-026-10854-0. https://www.nature.com/articles/s42003-026-10854-0