跳到正文
OpenReview · Representation learning· Zhaoxi Mu; Xinyu Yang; Sining Sun; Qing Yang·· 2024-01-01精选AI 评分70

面向鲁棒目标语音提取的自监督解耦表征学习

Self-Supervised Disentangled Representation Learning for Robust Target Speech Extraction

AI 导读

基于摘要分析。该研究面向目标语音提取,试图减少参考语音中与说话人身份无关的信息所引发的说话人混淆,提出自监督解耦表征学习方法,并结合 adaptive modulation Transformer,以身份条件引导混合语音中的目标说话人提取。 机制上,作者通过参考语音编码网络与全局信息解耦网络构成两阶段处理,逐步将说话人身份信息与其他无关因素分离,再仅使用解耦后的身份信息指导提取网络。adaptive modulation Transformer 则将 speaker embeddings 作为条件信息引入;作者的设计目标是在提供身份引导的同时,避免扰动混合信号的声学表征。摘要未给出自监督目标、两阶段训练关系或具体调制形式,不能据此确定实现细节。 作者报告该方法降低了说话人混淆的可能性,但摘要未提供量化指标、数据集、划分方式或对照基线,因而尚不能判断改善幅度及适用条件。实验协议、消融及统计信息尚未验证;复现还需核对参考语音与混合语音的构造方式、身份解耦的监督来源及代码可用性。 平台推测(待验证):若 EEG 任务具有可明确区分的目标因素与干扰因素,并有适当的参考片段或条件变量,这种“解耦后再条件调制”的机制可能用于检验任务相关表征与被试或会话差异的分离。可复用的是解耦与条件引导思路,语音编码器及身份条件定义则需改造;EEG 低信噪比、小数据及身份因素与任务因素纠缠,均可能使解耦误删有效信息。一个可证伪的小实验是在固定 Cross-session 划分下,对比直接条件注入与解耦后条件调制,并保持编码器容量和训练数据一致,检查任务指标与会话信息可预测性。此处仅为机制假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是其将参考语音中的身份信息解耦与条件调制分开处理的机制,可据全文核对二者对说话人混淆的独立贡献;其 EEG/BCI 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net