通过学习音频—文本跨模态上下文表征实现对话语音识别

该研究针对对话 Automatic Speech Recognition（ASR）中历史轮次信息难以有效利用的问题，在 Conformer 编码器—解码器中引入音频—文本跨模态上下文表征与对话级潜变量，以缓解无关内容、冗余和错误传播对长上下文利用的影响。以下基于摘要分析，未取得论文全文。 方法包含两部分：跨模态提取器通过专用编码器与模态级掩码输入，结合预训练语音模型和文本模型，提取历史语音上下文；条件潜变量模块则用于学习角色偏好、话题连贯性等对话级属性。两类表征共同输入解码器。摘要未说明预训练模型名称、掩码策略、潜变量分布、训练目标及上下文窗口；“避免显式错误传播”和长上下文信息保留属于作者提出的机制与效果主张，具体实现及证据尚待全文核对。 作者报告，相较标准 Conformer，在普通话对话数据集 HKUST 和 MagicData-RAMC 上分别取得 8.8% 和 23% 的相对准确率提升。摘要未给出准确率定义、绝对分数、数据划分或统计信息，因此不能将其改写为百分点提升或 WER 降幅，也不能据此比较两个数据集上的绝对性能。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若面向带有对话轮次和文本监督的 EEG 语音解码任务，可检验历史文本与神经信号联合上下文是否有助于当前轮次解码；这并非本文已验证的 EEG/BCI 结果。可复用的思路是模态级掩码与对话潜变量，需改造的是语音编码器及神经信号—文本对齐模块。低信噪比、跨被试差异和小样本可能使模型过度依赖语言上下文而忽略神经证据。一个小规模检验是在相同被试与数据划分下，对比无历史、真实历史和打乱历史三种条件，并检查收益是否依赖当前神经信号。已有 EEG 相关工作尚未检索确认。