面向音乐与音频智能的表征学习

基于摘要分析。这篇学位论文研究如何构建兼顾音频语义与声学信息的表征，并将其用于音频理解和生成。其主要贡献围绕 HTS-AT 展开，依次涉及音频事件分类、音源分离、音频—文本对比预训练模型 CLAP，以及利用 CLAP 嵌入进行文本到音乐生成的潜在扩散模型 MusicLDM。 技术路线方面，作者以音频 transformer HTS-AT 为基础，通过音频事件分类考察语义理解能力，再将其音频嵌入用于音源分离，以考察声学信息的表达能力。随后，CLAP 将 HTS-AT 与语言理解模型结合，通过对比预训练学习音频和文本表征中的共享信息；MusicLDM 则利用 CLAP 嵌入支持音乐生成。摘要未提供 HTS-AT 的具体结构、对比损失形式、训练数据规模及扩散过程配置，不能据此补全实现细节。 作者报告，这一路线成功适配了多种音频下游任务并取得更优表现；但摘要未列出数据集、划分、对照基线、指标或数值，因此无法判断优势幅度及适用条件。实验协议、消融及统计信息尚未验证。 本文的主要研究对象是音频理解与音乐生成，而非神经信号解码。平台推测（待验证）：音频—文本共享表征可作为探索 EEG 与音频语义对齐的机制参考，但依赖可配对或可关联的 EEG、音频及文本监督，并需改造 EEG 编码器和时序对齐方式；原有音频表征与音乐生成结果并不等于 BCI 有效性证据。EEG 的低信噪比、跨被试差异及小数据条件可能使对齐学习失效。若具备配对数据，可在固定跨被试划分下，比较 EEG 编码器对齐冻结 CLAP 嵌入与不使用该对齐的基线，检验其对音频语义检索是否有增益；该实验仅是假设性建议，相关 EEG 工作尚未检索确认。