跳到正文
OpenReview · Representation learning· Xinglong Mao; Shifeng Liu; Sirui Zhao; Yiming Zhang; Hao Wang; Tong Xu; Enhong Chen·· 2024-01-01精选AI 评分70

H2LMER:用于微表情识别的跨帧率表征对齐框架

H2LMER: A Cross Frame-Rate Representation Alignment Framework for Micro-expression Recognition

AI 导读

基于摘要分析。本文研究低帧率视频中的微表情识别(MER),提出 H2LMER,利用高、低帧率微表情数据的表征对齐改善低帧率情绪特征学习。研究对象是面部微表情视频,而非 EEG 或 BCI 信号。 核心方法包括渐进式训练策略与跨帧率相似性损失,用于在情绪特征空间中对齐高、低帧率数据;另引入 triplet loss,旨在抑制面部身份干扰并学习具有判别性的情绪特征。随后,将预训练特征提取器迁移至目标低帧率微表情数据集,并通过部分层微调完成适配。具体损失形式、高低帧率样本的对应方式、训练阶段安排及微调层范围尚未验证。 作者报告,在 CAS(ME)³ PART A 和 C 数据集上的实验中,H2LMER 优于单阶段基线及所比较的现有 MER 方法。摘要未提供具体指标、数值、帧率设置、被试划分与对照细节,因此不能据此量化收益,也不能判断其跨被试或真实场景泛化能力。实验协议、消融及统计信息尚未验证。 平台推测(待验证):高低时间分辨率之间的表征对齐,可作为 EEG 降采样条件下特征学习的机制假设,但视频帧率变化不等同于 EEG 采样率变化。若迁移,需将视觉特征提取器改为 EEG 编码器,以同段信号的原采样率与抗混叠降采样版本构成对应样本,并重新设计身份抑制目标,避免同时移除任务相关个体信息。低信噪比、通道差异及小样本可能使对齐失效。可在固定跨被试划分下,对比低采样率直接训练与加入跨采样率对齐的模型,检验增益是否稳定;尚未检索确认已有 EEG 相关工作。

阅读价值

值得核对其跨帧率表征对齐能否改善低帧率微表情识别,尤其是渐进式训练、身份干扰抑制与部分层微调各自的贡献;摘要中的性能优势尚需结合全文协议验证。

来源:OpenReview · Representation learning · openreview.net