语音表征模型中的 Transformer 堆栈有多冗余？

基于摘要分析。本文研究自监督语音表征模型中 transformer 层的冗余，结合层间相似性分析、层剪枝与知识蒸馏，考察能否在保留下游预测能力的同时降低模型规模与推理开销；主要研究对象是语音表征模型，而非 EEG 或 BCI。 作者使用 cosine similarity、centered kernel alignment 和 mutual nearest-neighbor alignment 三种指标比较层表征。作者报告观察到块状高相似性结构，并据此提出模型可能包含两个主要处理阶段、层间存在较高冗余。相似性结构为压缩提供线索，但其与功能可替代性的关系仍需结合具体实验核对。 作者报告，在所评估的语音表征模型及下游设置中，无需后训练即可最多削减 40% 的 transformer 层，同时保留超过原模型 95% 的预测能力；这里的相对预测能力不能解释为 Accuracy 超过 95%。作者还报告，通过知识蒸馏以模仿层替代整个 transformer 堆栈，可将网络规模缩减 95–98%，推理时间最多缩短 94%，且没有显著性能损失。摘要未给出具体模型、数据集、任务划分、评价指标、蒸馏目标、模仿层结构及计时硬件；实验协议、消融及统计信息尚未验证。其“堆栈几乎完全冗余”的结论应限定于作者评估的下游应用，不能直接推广至所有语音任务。 平台推测（待验证）：层相似性诊断与分块剪枝可作为 EEG transformer 表征模型压缩的候选方法，蒸馏则依赖教师模型及相应输入数据。可复用的是相似性度量和层删除分析，需重新验证 EEG 下游任务的输出保持程度，并改造蒸馏目标与输入接口。低信噪比、被试差异、通道配置变化及小数据可能使高表征相似性掩盖关键任务信息。一个可证伪的小实验是在固定 Cross-subject 划分下，对同一 EEG 模型比较相似性指导剪枝与等量随机剪枝，保持其余训练及评估条件一致，同时测量原任务指标和推理延迟。已有 EEG 相关工作尚未检索确认。