跳到正文
arXiv · 表征与预训练· Séverin Baroudi; Hervé Bredin; Ricard Marxer·· 6 天前精选AI 评分78

SepRQ:通过无掩码、多尺度声源分离进行自监督语音混合表征学习

SepRQ : Self-Supervised Speech Mixture Representation Learning via Mask-Free, Multi-Scale Source Separation

AI 导读

SepRQ 针对主流自监督语音表征模型主要面向单说话人、难以适应多说话人场景的问题,提出以冻结随机投影码本上的伪声源分离目标替代掩码预测,并采用无掩码、多分辨率学习方式。以下基于摘要分析,未取得论文全文。 机制上,研究将预训练任务从掩码内容预测转向混合语音中的声源区分。摘要明确提及冻结随机投影码本,但未说明伪声源目标的构造、码本配置、多分辨率实现、损失形式及训练数据规模,这些细节尚未验证。作者将 SepRQ 描述为开源框架;当前材料未提供可核对的代码入口、权重或复现配置。 作者报告,在 SUPERB 的 Speaker Diarization 与 Speech Separation 任务上,SepRQ 在 Base 和 Large 两种规模下超过 WavLM 及其他面向多说话人混合场景的自监督方法,并声称达到当前最优表现;摘要同时报告推理参数量为 85.68M,但未明确其对应的具体配置。作者还报告模型在需要目标说话人注册音频的任务(如 Target-Speaker Automatic Speech Recognition)、多域 DIHARD 3 说话人日志任务,以及 WSJ0-3Mix 三说话人混合分离上表现较强。摘要未给出这些任务的具体分数;训练与评估划分、基线配置、消融及统计信息尚未验证,不能据此量化优势或跨协议比较。 平台推测(待验证):迁移假设是,面向混合信号的分离式自监督目标可能帮助 EEG 表征区分叠加成分,但语音中的说话人结构并不等同于 EEG 中的神经活动与伪迹。可考虑复用随机投影码本与多尺度目标设计,需改造信号编码、通道处理和伪源生成;其有效性依赖可辨识的混合结构及足够训练数据,低信噪比、跨被试差异、通道变化和小数据均可能使目标偏向伪迹。一个可检验的小实验是在相同 EEG 数据、编码器和训练预算下,对比掩码建模与伪源分离目标,并在固定 Cross-subject 划分下测试表征对人工叠加伪迹的鲁棒性。相关 EEG 工作尚未检索确认。

阅读价值

值得核对 SepRQ 如何通过冻结随机投影码本上的伪声源分离目标学习多说话人表征,以及其相对 WavLM 的收益能否在一致评估协议下复现;对 EEG 的迁移价值尚未验证。

来源:arXiv · 表征与预训练 · arxiv.org