重新审视用于学习通用音频表征的音频—语言预训练

基于摘要分析。本文研究音频—语言预训练（ALP）能否构建有效的通用音频编码器，以及不同预训练目标在多类音频任务和数据规模下的表现。主要贡献是汇集 CaptionStew 音频描述数据集，并在语音、音乐和环境声音任务上系统比较对比学习与描述生成目标。 数据与机制：CaptionStew 汇集多个开源音频—文本语料，覆盖不同领域及描述侧重点，包含 10.7M 条描述；该数值不等同于独立音频数量。研究以音频—文本配对数据为基础，考察对比目标与描述生成目标对音频表征学习的影响，但摘要未披露具体损失形式、模型结构、训练预算及下游评估方式。 作者报告，在所评估的音频任务与规模设置下，ALP 可学习具有竞争力和迁移能力的表征；对比学习的数据效率更高，而描述生成目标随规模扩展的表现更好。作者还报告，监督初始化的收益随规模增大而递减。摘要未提供具体指标、对照基线或效应大小，因此这些结论的适用边界、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 数据具备可靠且多样的配对文本，可将本文两类目标的比较框架用于检验语言监督能否改善 EEG 表征，而不能直接套用音频领域的有效性结论。可复用的是目标比较思路，需改造的是 EEG 编码器、文本配对方式和评估协议；低信噪比、跨被试差异、通道配置变化及小数据规模可能削弱收益，文本也可能仅编码任务标签而非信号细节。一个可证伪的小实验是在固定 EEG 编码器、训练预算与跨被试划分下，比较两类目标在递增配对数据量时的下游表现，并加入打乱文本配对的对照。已有 EEG 相关工作尚未检索确认。