通过并行音素序列预测增强 EEG 聆听语音解码

基于摘要分析。该研究针对从 EEG 解码被试所聆听语音的问题，引入辅助音素预测器，在生成语音波形的同时预测文本形式的音素序列。其主要贡献是将两种输出纳入同一模型，避免为每种模态构建串接式顺序处理流程；研究对象是聆听语音，而非自主发声或想象语音。 模型由 EEG module、speech module 和 phoneme predictor 三部分组成：EEG module 将 EEG 信号映射为 EEG embeddings，speech module 根据这些表征生成语音波形，phoneme predictor 输出解码得到的文本音素序列。摘要将音素预测定位为增强语音解码的辅助任务，但未明确音素预测器的输入连接、监督标签构建方式、损失函数或各任务的训练权重，这些机制细节尚未验证。 作者报告，该方法在语音波形与文本音素两种输出模态上均优于既有方法。摘要未提供数据集、被试数量、被试内或跨被试划分、对照方法、评价指标及具体数值，因此尚不能判断优势的幅度、统计可靠性或跨被试泛化能力。实验协议、消融及统计信息尚未验证，尤其需核对性能提升是否来自音素辅助监督，以及并行输出与串接流程的比较条件。 作者称源代码与语音样例已公开，但所给材料未包含其具体位置，复现所需的数据获取条件、预处理流程和训练配置仍待核对。该摘要支持将工作理解为 EEG 聆听语音的双模态解码方法，不足以证明其在言语感知受损人群中的临床有效性。