用于语音情绪识别的帧级情绪状态对齐方法

基于摘要分析。本文研究语音情绪识别（SER）中话语级标签与局部音频帧情绪不一致的问题，提出帧级情绪状态对齐方法，通过聚类生成伪情绪标签并用于 HuBERT 预训练，再以注意力聚合完成 SER。 方法分为三个阶段：首先采用任务自适应预训练（TAPT）方法微调 HuBERT，获得 SER 系统，并从其 transformer 层提取嵌入，经聚类形成帧级伪情绪标签；随后利用这些伪标签预训练 HuBERT，使帧级输出携带相应情绪信息；最后在该模型顶部加入注意力层并微调，以侧重与话语级标签更一致的帧。其核心思路不是把同一个话语标签直接赋给所有帧，而是借助中间表征构建更细粒度的监督。聚类配置、伪标签与情绪类别的对应方式，以及具体训练目标尚未验证。 作者报告，在 IEMOCAP 上该方法优于所比较的 SOTA 方法，但摘要未提供具体指标、数值、数据划分或基线名称，不能据此确定优势幅度或跨说话人泛化能力。实验协议、消融及统计信息尚未验证；复现时应重点核对伪标签构建所用的数据范围，以及 TAPT、伪标签预训练与注意力层的独立贡献。 平台推测（待验证）：该机制可为具有试次级情绪标签的 EEG 时序学习提供一个假设，即通过局部表征聚类缓解试次标签与短时片段状态不一致的问题。可复用的是伪标签构建和加权聚合流程，需将语音编码器与音频帧改为适合 EEG 的编码器和时间窗。低信噪比、跨被试差异、通道配置及小样本可能使聚类主要反映伪迹或被试身份，而非情绪。一个可证伪的小实验是在固定跨被试划分下，对比试次标签训练、加入窗口伪标签训练及随机伪标签对照，检验收益是否来自有效的局部监督；已有 EEG 相关工作尚未检索确认。