通过噪声表征学习增强对话语音识别的鲁棒上下文感知能力

基于摘要分析。研究针对对话语音识别中历史 ASR 转写错误污染上下文、进而影响后续用户话语识别的问题，提出上下文噪声表征学习，并结合基于文本对话数据的解码器预训练，提高模型利用含噪对话历史的能力。 其主要研究对象是用户与智能体交互中的语音转写，而非 EEG 或 BCI。方法以历史用户转写和智能体回复作为后续识别的上下文；由于历史转写由 ASR 自回归生成，错误可能随轮次累积。作者采用文本对话数据预训练解码器，并对上下文编码器进行噪声表征学习。摘要未给出噪声生成方式、具体损失、模型连接方式或训练阶段安排，尚不能判断各模块的独立贡献。 作者报告，在 DSTC11（MultiWoZ 2.1 音频对话）评估中，相较 wav2vec2.0 基线，WER 相对降低 24%；相较 Whisper-large-v2，WER 降低 13%，但摘要未明确后一数字是否为相对降幅。在信噪比为 0 dB 的强噪声音频条件下，作者报告相较 wav2vec2.0 基线，WER 相对降幅最高达 31%。数据划分、绝对 WER、噪声类型、基线适配方式、消融及统计信息尚未验证，上述结果不能直接外推到其他识别协议。 平台推测（待验证）：其可迁移假设是，对历史解码错误进行鲁棒表征学习，可能缓解带有语言上下文的 EEG/BCI 文本解码中的错误传播。可考虑复用上下文编码器训练思路，但需改造信号前端及噪声构造，使错误分布对应真实神经信号解码，而非普通 ASR。低信噪比、跨被试或通道变化、小数据训练可能使语言先验压过信号证据，产生流畅但错误的输出。一个可证伪的小实验是在固定 EEG 解码前端和数据划分下，对比无上下文、普通上下文及噪声表征学习上下文三种设置，并逐级增加历史文本错误，检验鲁棒性收益是否成立。相关 EEG 工作尚未检索确认。