使用 Segmental Contrastive Predictive Coding 进行无监督语音分段与可变速率表示学习

基于摘要分析。本文研究无监督语音中的类音素与类词单元分段，提出 Segmental Contrastive Predictive Coding（SCPC），联合学习两种尺度的分段与表示，并按语音内容生成可变速率特征，而非始终采用均匀时间间隔。 机制上，常规 contrastive predictive coding（CPC）根据历史上下文预测后续帧，主要建模帧级结构。SCPC 先由卷积神经网络从原始波形学习帧级表示，以噪声对比估计（NCE）训练；再由可微边界检测器识别变长片段，并以 NCE 优化片段编码器。边界检测的可微性使帧级与片段级编码器能够联合训练，从而利用不同尺度分段任务之间的依赖关系。摘要描述的是无监督、自监督学习框架，未提供具体损失公式或负样本构造。 作者报告，在 TIMIT 与 Buckeye 的语音分段实验中，单个模型优于已有音素及词分段方法，但摘要未列出具体指标与对照结果。作者还报告，在其线性音素分类评估中，SCPC 将典型的 100 Hz 特征提取频率降至平均 14.5 Hz，同时优于 MFCC 等手工特征；这一结果不能直接解释为其他任务或信号上的等比例压缩收益。数据划分、各数据集对应结果、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可微变长分段机制可能对应 EEG 固定窗口难以适配非平稳事件持续时间的问题，但语音中的类音素、类词结构并不天然存在于 EEG。可复用候选是分层对比学习与边界检测机制，需改造原始波形编码器以适配多通道 EEG，并检验时间片段是否具有稳定任务信息。低信噪比、伪迹及跨被试差异可能使边界追随噪声，小数据也可能削弱对比学习。一个可证伪的小实验是在同一 EEG 数据划分和相同线性分类评估下，对比固定窗口 CPC 与可微分段版本，联合考察分类指标、输出速率及边界对伪迹的敏感性。已有 EEG 相关工作尚未检索确认。