SPEAR：用于学习语音与音频表征的统一自监督学习框架

基于摘要分析。SPEAR 针对语音与通用音频自监督学习方法通常各自专用、难以形成统一表征的问题，提出利用混合语音与音频数据进行预训练的框架，核心是对两类信号的细粒度离散 token 进行统一掩码预测。 机制上，SPEAR 使用 Multi-codebook Vector Quantisation（MVQ，多码本向量量化），将连续语音和音频表征转为离散 token。作者认为，这些目标能够保留建模语音与复杂音频事件所需的声学细节，并据此训练单领域模型及统一语音—音频模型。摘要未交代连续表征的来源、码本配置、掩码策略及具体损失形式，相关实现尚未验证。 作者报告，语音领域模型在相同预训练语料、相近模型规模条件下，在 SUPERB 的 15 项任务中有 12 项达到或超过 WavLM Large，并称其取得新的最佳表现；摘要未提供各任务分数及统计不确定性。对于统一模型，作者报告其在 SUPERB 与 HEAR 两类评估基准上表现出跨语音和通用音频的综合能力，并称其学习到了互补特征，但摘要不足以核对互补性的具体证据。作者还报告，通过扩大模型和预训练数据规模，得到 600M 参数的统一模型；其具体增益、数据构成及对照条件尚未验证。 复现方面，作者表示将公开推理代码和预训练模型，这属于发布计划，不能据此认定资源已可用。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可检验的迁移假设是，以多码本 token 保留细粒度信号信息、再进行掩码建模，可能适用于 EEG 中多种动态成分的表征学习。可复用部分是量化目标构建与掩码预测思路；需要改造信号编码、通道布局及量化目标生成，不能直接假定声学 token 适用于 EEG。主要风险是低信噪比导致码本编码伪迹，跨被试或跨通道差异使 token 含义不稳定，以及小数据条件下码本利用不足。一个小规模可证伪实验是在固定 EEG 数据、编码器规模和跨被试划分下，比较单码本与多码本掩码预测，并同时检查下游表现和码本利用情况。相关 EEG 工作尚未检索确认。