通过学习音频—文本跨模态上下文表征进行会话语音识别

基于摘要分析。该研究面向会话自动语音识别（ASR），针对历史轮次中无关内容、错误传播与冗余妨碍长上下文利用的问题，在 Conformer 编码器—解码器中引入音频—文本跨模态上下文表征及会话级潜变量表征。 核心机制是通过跨模态提取器，将预训练语音模型与文本模型结合，并使用专用编码器和模态级掩码输入提取历史语音上下文。作者将其描述为避免显式错误传播的途径；具体掩码策略、预训练模型及训练目标尚未验证。此外，条件潜变量变分模块用于学习角色偏好、主题连贯性等会话属性，两类表征共同输入解码器，以增强较长历史上下文的利用。 作者报告，在普通话会话数据集 HKUST 和 MagicData-RAMC 上，相对标准 Conformer，准确率分别相对提升 8.8% 和 23%。这些数值是摘要所述的相对准确率改善，不是准确率绝对值或百分点变化，也不能直接改写为字错误率或词错误率下降。数据划分、准确率定义、基线配置、上下文长度、消融及统计信息尚未验证，因此目前无法判断各模块的独立贡献或跨设置稳健性。 平台推测（待验证）：若 EEG 任务具有明确的连续交互轮次及同步文本上下文，跨模态历史提取与会话属性建模可能为上下文辅助解码提供机制参考；这一假设依赖轮次对齐和文本监督，原论文并非 EEG/BCI 研究。可复用的是上下文提取与条件潜变量思路，需重新设计 EEG 编码、模态对齐和掩码策略。低信噪比、跨被试差异、通道变化及小数据可能使模型过度依赖文本先验而非神经信号。一个可证伪的小实验是在固定被试隔离划分和文本可用条件下，对比无历史、真实历史与打乱历史，检验真实历史是否带来稳定增益。已有 EEG 相关工作尚未检索确认。