用于对比式音频表征学习的神经压缩增强
Neural Compression Augmentation for Contrastive Audio Representation Learning
基于摘要分析。本文研究音频对比式自监督学习中的数据增强选择,针对 Random Resize Crop(RRC)在音高敏感音乐任务中表现不足、跨音频类型泛化受限的问题,提出基于有损神经压缩的 Neural Compression Augmentation(NCA)。其主要研究对象是音频表征学习,而非 EEG 或 BCI。 方法以 Audio Barlow Twins(ABT)为骨干,将 NCA 与若干基线增强方法分别置于 ABT 的增强模块中,并在 AudioSet 上训练。核心思路是利用有损神经压缩构造训练视图;摘要未说明压缩器结构、预训练数据、压缩强度、增强组合方式及具体训练目标,相关实现条件尚未验证。 作者报告,在 AudioSet 上训练后,集成 NCA 的模型在 HEAR benchmark 上优于原始 ABT,尤其是音乐任务。摘要没有提供任务级分数、指标、划分协议或不确定性信息,因此尚不能量化改善幅度,也不能判断收益是否一致覆盖其他音频任务。实验协议、消融及统计信息尚未验证。 平台推测(待验证):压缩扰动可能为 EEG 自监督学习提供一种候选增强方式,对应的问题是如何在构造不同视图时保留任务相关信号。但音频中的有效性不等于 EEG 中有效;复用增强模块的思路仍需改造适配多通道 EEG 的压缩器,并核对训练数据与规模要求。低信噪比、通道差异和小数据条件下,压缩可能抹除微弱判别信息或改变跨通道关系。可先在固定的被试内划分、骨干和训练预算下,对比无增强、常规增强与不同压缩强度的增强,检验下游指标是否改善及关键频谱特征是否保留。已有 EEG 相关工作尚未检索确认。
值得核对的是有损神经压缩能否提供比 Random Resize Crop 更适合音高敏感任务的增强视图;摘要报告了 HEAR 音乐任务上的改善,但具体收益及跨音频类型的泛化程度尚待全文验证。
来源:OpenReview · Representation learning · openreview.net