利用生成对抗网络中的潜空间聚类进行说话人日志
Speaker diarization using latent space clustering in generative adversarial network
基于摘要分析。该研究针对说话人日志中的说话人聚类问题,以 x-vector 说话人嵌入为输入,借助编码器实现生成对抗网络(GAN)的反投影,学习适合聚类的潜空间表示。主要研究对象是语音中的说话人区分,而非 EEG 或 BCI;ADOS、BOSCC 在此用于评估临床交互语音的说话人日志效果,不是自闭症诊断性能验证。 方法联合使用 GAN loss、latent variable recovery loss 和 clustering-specific loss。潜变量由连续随机变量与离散 one-hot 编码变量组合构成,后者使用原始说话人标签。其关键机制是将输入嵌入映射到具有聚类结构的潜空间;具体损失形式、网络结构及推理时如何形成说话人簇尚未验证。 作者在 AMI meeting corpus 及两个儿童—临床人员交互语料 ADOS、BOSCC 上评估。后两者分别包含临床环境中有语言能力的自闭症儿童及青少年的诊断与治疗结局评估会话。作者报告方法优于所比较的 x-vector 说话人日志系统;进一步与 x-vector 进行嵌入融合后,在使用 oracle speech segmentation 的条件下,相对 x-vector 基线,AMI eval、ADOS 和 BOSCC 的 DER 分别相对改善 31%、36% 和 49%。这些数值不是绝对百分点下降,也不代表自动语音分段条件下的结果。数据划分、绝对 DER、统计检验、消融及复现条件尚未验证。 平台推测(待验证):其潜空间聚类机制可作为 EEG 嵌入组织方式的研究假设,但依赖可用的输入表示与离散监督,原领域有效不等于 BCI 有效。迁移时需替换 x-vector 前端并重新定义离散变量;说话人身份与 EEG 任务类别并不等价,低信噪比、跨被试差异、通道变化和小样本可能使潜空间主要编码被试身份而非任务。可用固定 EEG 嵌入和一致的跨被试划分,小规模比较原始嵌入、完整潜空间方法及去除聚类损失的版本,检验任务聚类是否改善且未增加被试身份依赖。已有 EEG 相关工作尚未检索确认。
值得核对其通过混合连续与离散潜变量、联合损失改善说话人聚类的机制,但作者报告的 DER 改善基于 oracle speech segmentation,不能直接外推至端到端说话人日志或 EEG/BCI。
来源:OpenReview · State space models · openreview.net