通过自蒸馏与在线聚类实现自监督反思学习的说话人表征学习
Self-supervised Reflective Learning through Self-distillation and Online Clustering for Speaker Representation Learning
基于摘要分析。本文研究无标签语音中的说话人表征学习,提出 self-supervised reflective learning(SSRL),以教师—学生架构和在线聚类持续更新伪标签,减少两阶段迭代框架中反复聚类与训练的开销,并缓解噪声伪标签对学习的影响。 机制上,SSRL 将自蒸馏与在线聚类结合,使伪标签在训练过程中持续细化;同时引入噪声标签建模和伪标签队列,以维护时序一致性。摘要未披露损失函数、教师更新方式、聚类算法及队列更新规则,这些实现细节尚未验证。 作者报告,在 VoxCeleb 上,SSRL 单轮训练的表现超过一种进行 5 轮训练的两阶段迭代方法;具体数据集版本、划分、任务指标、基线配置及计算成本尚未验证,因此不能据此量化性能增益或加速比例。作者还报告,消融支持噪声标签建模和伪标签队列的作用,伪标签质量持续改善且聚类数量趋于收敛;相关测量定义、消融幅度及统计信息尚未验证。 平台推测(待验证):若 EEG 目标任务中的类别结构能在无标签表征中形成稳定聚类,该机制可能用于缓解伪标签自训练中的错误累积。可复用教师—学生更新、在线聚类与队列维护思路,但需改造语音编码器,并检验聚类是否主要反映被试、会话或伪迹,而非目标脑状态。低信噪比、通道差异及小数据可能使错误伪标签被持续强化。一个小规模可证伪实验是在固定跨被试划分下,仅用训练被试数据进行无标签预训练,对比在线聚类基线与加入噪声建模、队列后的版本,以相同标注预算评估目标任务,并检查聚类与被试身份的关联。已有 EEG 相关工作尚未检索确认。
值得关注其通过在线聚类、自蒸馏及伪标签时序维护减少离线聚类与训练交替开销的机制,但其对 EEG 表征学习的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net