MuQ：基于 Mel 残差向量量化的自监督音乐表征学习

基于摘要分析。本文面向音乐理解，提出自监督音乐表征模型 MuQ，以 Mel Residual Vector Quantization（Mel-RVQ）生成的离散 token 作为预测目标；另构建基于对比学习的音乐—文本联合嵌入模型 MuQ-MuLan，评估跨模态表征能力。 核心机制是采用残差线性投影结构对 Mel 频谱进行量化，为自监督学习提取目标。与采用随机投影或现有神经编解码器生成目标的路线相比，作者称 Mel-RVQ 可提高目标提取的稳定性与效率，并改善下游表现。摘要未提供量化器配置、预测损失、输入遮蔽方式及迭代训练流程，具体实现尚未验证。 作者报告，在多种音乐下游任务中，使用 0.9 K 小时开源预训练数据的 MuQ 优于先前自监督音乐表征模型；将数据扩展至超过 160 K 小时并采用迭代训练，可持续改善模型表现。作者还报告，MuQ-MuLan 在 MagnaTagATune 的零样本音乐标注任务上达到当时最优表现。摘要未列出具体分数、指标、基线及数据划分，实验协议、消融及统计信息尚未验证，不宜据此量化性能增益。 平台推测（待验证）：可迁移的假设是用残差量化生成离散时频目标，辅助 EEG 自监督表征学习，而非直接复用音乐模型。该路径依赖时频结构和可用预训练数据，需改造频谱表示、通道组织与量化目标；音乐中的 Mel 频率尺度不应直接视为适合 EEG。低信噪比、跨被试差异及小数据可能使 token 更偏向伪迹或个体特征。可在固定 EEG 数据划分、编码器和训练预算下，对比残差量化目标与随机投影目标，检验跨被试下游性能及 token 稳定性。已有 EEG 相关工作尚未检索确认，原文结果不构成 BCI 有效性的证据。