VAEmo：通过知识注入实现高效视听情绪表征学习

基于摘要分析。本文研究视听情绪识别（AVER），即从非语言视觉与音频线索推断情绪，提出两阶段框架 VAEmo，以统一视听编码和外部情感语义知识注入，缓解情绪表达歧义、跨模态表达差异及可靠标注稀缺问题；研究对象不是 EEG 或 BCI。 第一阶段使用统一、轻量的表征网络，在大规模以说话者为中心的视听语料上，通过掩码重建与对比学习目标进行无情绪标签预训练，旨在缩小模态差距并学习互补表征。第二阶段仅针对一小部分视听样本，利用多模态大语言模型和思维链提示自动生成细粒度情感描述，再以双路径对比学习对齐文本嵌入与视听表征，注入情绪相关语义。相较摘要所述的模态专用编码器及粗粒度内容对齐路线，其重点是统一跨模态编码与情绪语义引导；具体网络结构、损失公式及两条对比路径的定义尚未验证。 作者报告，在多个下游 AVER 基准上，该框架以紧凑设计取得最先进性能。摘要未提供基准名称、数据划分、指标数值、对照设置及参数量或计算成本，因此尚不能量化其性能与效率优势。实验协议、消融及统计信息尚未验证；复现还需核对预训练语料、生成描述的样本比例与提示设置，以及文本监督的质量控制。 平台推测（待验证）：可迁移的假设是以少量语义描述辅助对比学习，增强标注稀缺时的情绪表征，而非直接复用视听编码器。若用于 EEG 情绪识别，需要具有对应情绪语义的数据，并改造信号编码与时间对齐模块；低信噪比、跨被试差异、小数据及描述更贴近外显表情而非 EEG 状态，都可能使收益消失。可在固定跨被试划分下，对比相同 EEG 编码器使用真实配对描述、打乱描述及不使用描述的结果，检验语义配对是否提供额外信息。已有 EEG 相关工作尚未检索确认。