通过一致声学表征学习对基于 CTC 的语音识别进行知识蒸馏

基于摘要分析。本文研究轻量化 CTC 自动语音识别（ASR）模型的知识蒸馏问题：CTC 输出的后验分布具有尖峰特征，使基于 KL 散度的蒸馏难以收敛。作者提出空白帧消除机制与一致声学表征学习（CARL），以改善学生模型的表征能力。 CARL 不直接匹配教师与学生的编码器特征，而是将两者的输出特征送入教师预训练的分类器，再结合空白帧消除，使输出趋于一致。训练采用两阶段流程：第一阶段通过余弦相似度进行特征级知识蒸馏，第二阶段通过 CARL 进行 softmax 层级蒸馏。空白帧筛选规则、教师与学生特征维度的兼容方式，以及分类器是否冻结，尚未验证。 作者报告，相对于普通 CTC 基线，该方法在 Aishell-1 上使 CER 相对降低 16.1%，在 Ted-lium2 上使 WER 相对降低 26.0%；这些是相对降幅，而非百分点变化。摘要未提供绝对错误率、模型规模、数据划分及统计信息，具体实验协议与各模块消融尚未验证。 平台推测（待验证）：若 EEG/BCI 任务本身采用 CTC 进行连续序列解码，并同样存在尖峰后验与大量空白帧，空白帧处理和共享教师分类器的蒸馏机制可能具有可复用性。这一假设依赖序列标签、可用教师模型及兼容的特征空间；输入编码器需适配 EEG 的通道与时序结构，低信噪比、跨被试变化和小数据可能放大教师误差或导致有效帧筛选不稳定。可在固定数据划分与同一教师—学生组合下，对照普通 CTC、常规 KL 蒸馏和加入空白帧消除的蒸馏，检验收敛性及序列错误率，再单独评估 CARL 的增益。已有 EEG 相关工作尚未检索确认。