Phoneme- vs. Character-Level Targets and Selective State-Space Models for Intracortical Brain-to-Text

ABSTRACT

中文摘要

当前最先进的皮层内 brain-to-text 系统通常将神经序列音素解码器与外部语言模型组合使用，但两个设计维度仍缺少系统研究：选择性状态空间模型 Mamba 是否能优于循环解码器，以及语音音素目标与字符目标如何同模型架构发生交互。作者在公开 Brain-to-Text '25 基准上构建受控的 2×2 实验矩阵，在同一可复现协议下比较 GRU 与混合 Mamba 解码器，以及音素目标与字符目标，全部使用 CTC 目标训练。结果显示，循环基线仍然最强：最佳音素 GRU 的音素错误率为 12.62%，词错误率为 21.19%；最佳字符 GRU 在语言模型重评分后，字符错误率为 13.39%，词错误率为 26.28%。混合 Mamba 模型具有竞争力，但没有超过 GRU。消融实验分离了不同架构组件的贡献；错误分析还揭示了依赖目标表示的失败模式：音素表示主要产生类似发音动作的混淆，而字符表示更容易产生词汇选择和词边界错误。