M2D-CLAP：结合 Masked Modeling Duo 与 CLAP 学习通用音频—语言表征

该研究针对音频—语言预训练表征如何兼顾零样本推理与常规迁移学习的问题，提出结合自监督方法 Masked Modeling Duo（M2D）与对比式语言—音频预训练（CLAP）的 M2D-CLAP。基于摘要分析，研究对象是音频及其语言对齐表征，并非 EEG 或 BCI。 其核心思路是由 M2D 学习音频信号表征，再通过 CLAP 将表征与文本嵌入对齐，以兼顾信号建模能力和语言语义关联。研究动机是：零样本分类虽适用于部分任务，但回归等任务仍需要可迁移的音频表征。摘要未说明两部分的具体训练顺序、联合损失、掩码策略及音频—文本数据构成，这些实现条件尚未验证。 作者报告，该方法在线性评估、微调及零样本分类中均有良好表现，并报告在 GTZAN 上取得 75.17%、称其达到当时最优水平；但摘要未明确该数值对应的具体评估方式、指标名称、数据划分及对照基线，因此不能据此跨协议比较。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的机制假设是，以信号自监督学习保留时序信息，同时用文本对齐引入任务语义，或可用于探索具有可靠文本标注的 EEG 表征。可复用的是双重表征学习思路，需改造音频输入与掩码单元，并核实 EEG—文本配对监督的可获得性及所需数据规模。低信噪比、跨被试差异、通道布局变化和小样本可能削弱语义对齐，原音频结果不构成 BCI 有效性证据。一个可证伪的小实验是在固定跨被试划分下，对比仅自监督、仅文本对齐与两者结合的 EEG 表征，使用一致的线性评估协议检验组合收益。已有 EEG 相关工作尚未检索确认。