MiCLA：用于多声部音频表征学习的混合物—组成成分潜在表征对齐

基于摘要分析。MiCLA 针对真实音频中多个声音事件并发、常规自监督方法未显式建模混合物与组成片段关系的问题，提出两阶段自监督预训练框架，通过合成 log-mel 混合及潜在表征对齐，学习多声部音频表征。 第一阶段以掩码自蒸馏和对比正则化组织单片段表征；第二阶段引入双向对齐：对合成混合物抑制与某一组成片段对齐的成分，再将残差与另一组成片段对齐。其中，patch token 使用投影残差化，全局 class token 使用样本自适应软残差化。其关键机制不是简单平均组成片段的目标表征，而是利用方向性的成分抑制与残差对齐提供训练信号。 作者报告，在下游微调条件下，MiCLA 在 AS-20K 和 AS-2M 上分别取得 43.2% 与 50.3% 的平均精度均值（mAP）；在冻结表征并采用 Convex Gated Probing（CGP）的评估中，在这两种 AudioSet 设置的参评模型中取得最高 mAP，摘要未提供对应数值及完整基线。作者还报告，Joint Semantic Retrieval 诊断显示，相比目标平均基线，MiCLA 更能同时检索两个组成类别。具体数据划分、混合构造、损失形式、消融及统计信息尚未验证，不同评估协议的结果不能直接比较。 平台推测（待验证）：其可迁移假设是，利用可控混合和已知组成关系，训练表征保留并发成分信息，可能对应 EEG 中多源活动叠加后的表征混淆。但 log-mel 混合不等同于 EEG 的体积传导与源混合，且并非任意 EEG 片段混合都具有合理语义。可复用的是残差对齐思路；输入表示、混合规则及 token 对应关系需改造。低信噪比、跨被试与通道差异、小数据条件可能使残差化误删任务信号。一个可证伪的小实验是在固定被试内划分、仅使用训练集片段构造可控混合的条件下，对比相同编码器的目标平均与残差对齐，检验两个组成标签的联合检索能否改善。已有 EEG 相关工作尚未检索确认。