跳到正文
OpenReview · Representation learning· Zhicheng Zhang; Pancheng Zhao; Eunil Park; Jufeng Yang·· 2024-01-01精选AI 评分74

MART:通过掩码时序分布蒸馏学习掩码情感表征

MART: Masked Affective RepresenTation Learning via Masked Temporal Distribution Distillation

AI 导读

基于摘要分析。MART 针对视频情绪分析(VEA)训练数据有限、从大规模图像数据迁移时难以提取情感线索时序关联的问题,提出 MAE 风格的掩码情感表征学习方法。研究对象是视频及多模态情感分析,并非 EEG 或 BCI;核心思路是利用不同视频片段间情绪程度的变化,学习片段间的情感互补关系与情绪内在特征。 方法首先从词典中提取情感线索,再沿时间维度计算其与视频内容在 sentiment 和 emotion 分数上的匹配程度,以验证线索。随后利用经验证的线索实施掩码情感建模,恢复时序情绪分布。作者还提出时序情感互补学习,对掩码多模态特征中的互补部分施加拉近约束、对其所称的 intrinsic 部分施加推远约束,并结合跨模态注意力约束视频掩码与片段情绪程度恢复。摘要未明确这些概念的数学定义、蒸馏目标来源、具体损失形式与掩码策略,尚需正文核对。 作者报告,在五个基准上,方法在 video sentiment analysis、video emotion recognition、multimodal sentiment analysis 和 multimodal emotion recognition 任务中表现优于对照方法;摘要未提供基准名称、数据划分、指标数值及对照配置,实验协议、消融及统计信息尚未验证。 平台推测(待验证):其“片段情绪程度不均一—掩码恢复时序分布”的机制,可作为 EEG 情绪表征学习的迁移假设,但原方法依赖词典线索、视频匹配与跨模态特征,不能直接视为 EEG 自监督方案。可复用的是时序掩码与分布恢复思路,需改造情感线索验证和跨模态对齐模块;EEG 的低信噪比、跨被试差异及小样本条件可能使片段监督不可靠。一个可证伪的小实验是在固定跨被试划分下,对比普通掩码重建与加入时序情绪分布目标的同一编码器,并检验打乱片段线索后增益是否消失。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其利用经视频匹配验证的词典情感线索指导掩码建模、恢复时序情绪分布的机制,但摘要尚不足以判断各模块的独立贡献及其对 EEG 的可迁移性。

来源:OpenReview · Representation learning · openreview.net