跳到正文
OpenReview · Representation learning· Saurabhchand Bhati; Jesús Villalba; Piotr Zelasko; Laureano Moro-Velázquez; Najim Dehak·· 2022-01-01精选AI 评分80

基于片段对比预测编码的无监督语音分割与变速率表征学习

Unsupervised Speech Segmentation and Variable Rate Representation Learning Using Segmental Contrastive Predictive Coding

AI 导读

基于摘要分析。该研究针对无监督语音中类音素单元与类词单元通常分别分割的问题,提出 Segmental Contrastive Predictive Coding(SCPC),将帧级与片段级表征学习联合起来,同时支持语音分割和随内容变化的变速率特征提取。主要研究对象是语音,而非 EEG 或 BCI。 机制上,传统 Contrastive Predictive Coding(CPC)依据过去上下文预测后续帧,主要建模帧级结构;SCPC 使用卷积神经网络从原始波形学习帧级表示,以噪声对比估计(NCE)优化。可微边界检测器进一步识别变长片段,片段编码器再通过 NCE 学习片段表示;边界检测的可微性使帧级与片段级编码器能够联合训练。其关键区别在于显式学习内容相关的片段结构,而不只采用均匀时间间隔的表示。 作者报告,在 TIMIT 和 Buckeye 数据集上,单一模型的音素与词分割表现优于已有方法,但摘要未提供具体分割指标与对照明细。作者还报告,在其线性音素分类评估中,SCPC 将特征提取速率从典型的 100 Hz 降至平均 14.5 Hz,同时表现优于 MFCC 等手工特征;该结果不等同于相同比例的计算开销下降。数据划分、模型配置、负样本构造、消融及统计信息尚未验证。 平台推测(待验证):可检验的迁移假设是,联合学习时间边界与片段表征或可用于 EEG 中持续时间不固定的活动建模。可复用部分是可微分段与两级对比学习,需改造的是多通道输入编码、时间尺度及对比样本设计。语音中的类音素、类词层级未必适用于 EEG,低信噪比、伪迹、跨被试差异和小数据可能使边界学习退化。一个小规模实验是在固定被试划分与下游任务下,对照固定窗口 CPC 与可微分段方案,同时评估任务指标、边界稳定性和表示速率;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是可微边界检测与帧级、片段级对比学习的联合训练机制,以及变速率表示的评估思路;其对 EEG 非平稳事件建模的价值仍属待验证假设。

来源:OpenReview · Representation learning · openreview.net