跳到正文
OpenReview · Representation learning· Dong Yao; Jieming Zhu; Jiahao Xun; Shengyu Zhang; Zhou Zhao; Liqun Deng; Wenqiao Zhang; Zhenhua Dong; Xin Jiang·· 2024-01-01精选AI 评分72

MART:使用局部—整体 Transformer 学习层级音乐音频表征

MART: Learning Hierarchical Music Audio Representations with Part-Whole Transformer

AI 导读

基于摘要分析。MART 研究音乐音频的自监督表征学习,针对等长音乐片段表征可能忽略音乐内在局部—整体层级结构的问题,引入层级局部—整体 Transformer 与层级对比学习目标,以建立多层级音乐表征空间。 核心机制是使裁剪音乐片段之间的特征交互显式考虑局部—整体关系:Transformer 捕捉层级结构中的片段关系,对比学习目标则对齐相邻层级的音乐表征,逐步组织多层级表征空间。其方法重点并非仅采用波形或频谱图输入,而是将片段之间的层级关系纳入表征学习。摘要未说明 MART 的具体输入形式、层级构造规则、正负样本定义及损失公式。 作者报告,该方法在音乐分类、翻唱歌曲识别等多个下游任务中验证了利用局部—整体层级学习音乐表征的有效性;摘要未提供数据集、划分、对照方法或量化指标,尚不能判断收益大小及其适用范围。训练规模、实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设 EEG 的短时片段与较长时间窗之间存在可用于目标任务的稳定层级关系,MART 的层级交互与相邻层级对齐机制可能用于多时间尺度自监督表征学习。迁移时需改造信号输入编码、时间窗层级及通道处理,且不能直接沿用音乐片段的语义假设;低信噪比、跨被试差异和小数据条件可能使层级对齐放大伪迹或抹去短暂判别信息。可在固定 EEG 数据划分、编码器及训练预算下,比较平坦片段对比学习与加入层级交互、相邻层级对齐后的下游表现,检验层级机制是否带来独立收益。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 MART 如何通过局部—整体层级关系与相邻层级对比目标组织音乐表征;其对 EEG 多时间尺度建模的价值仍属待验证假设。

来源:OpenReview · Representation learning · openreview.net