MuQ：基于 Mel 残差向量量化的自监督音乐表征学习

基于摘要分析。本文研究音乐理解中的自监督表征学习，提出 MuQ：通过预测 Mel Residual Vector Quantization（Mel-RVQ）生成的离散 token 学习音乐表征；另构建基于对比学习的音乐—文本联合嵌入模型 MuQ-MuLan，检验表征在跨模态任务中的应用。 核心机制是以 Mel 频谱为量化对象，通过残差线性投影结构生成训练目标，区别于使用随机投影或现有 neural codec 提取目标的路线。作者称该设计提升了目标提取的稳定性与效率。摘要未提供量化器配置、预测损失细节、网络结构及迭代训练流程，相关机制与消融证据尚未验证。 作者报告，在使用 0.9K 小时开源音乐数据预训练的设置下，MuQ 在多种下游音乐任务上优于此前的自监督音乐表征模型；将预训练数据扩展至超过 160K 小时并采用迭代训练后，性能持续改善。作者还报告，MuQ-MuLan 在 MagnaTagATune 的零样本音乐标注任务上达到当时最优表现。摘要未给出具体分数、完整基线及数据划分，不能据此量化优势或直接比较不同规模设置。作者提供了代码与检查点链接；训练数据构成、复现算力、实验协议及统计信息尚未验证。 平台推测（待验证）：可迁移的假设是，以残差量化生成离散预测目标，可能为 EEG 自监督学习提供一种目标构造方式，而非直接复用音乐模型。原方法依赖音乐 Mel 频谱及相应预训练数据规模；用于 EEG 时需改造频谱表示与通道组织，重新训练量化器，并检验其是否保留神经活动而非主要编码伪迹或被试差异。低信噪比、通道不一致及小数据条件均可能使量化目标失效。一个可证伪的小实验是：固定 EEG 编码器、训练数据和预测预算，仅比较残差量化与随机投影目标，在严格隔离被试的划分下评估跨被试下游表现及训练稳定性。该假设不代表已证实的 BCI 效果，已有 EEG 相关工作尚未检索确认。