跳到正文
OpenReview · Representation learning· Shuai Liu; Zhe Luo; Yating Li; Yunhe Wang; Weina Fu; Weiping Ding·· 2024-01-01精选AI 评分70

对比动作表征学习中广域与微观背景偏差的解决方法

Solution of wide and micro background bias in contrastive action representation learning

AI 导读

基于摘要分析。本文研究视频动作表征中的背景偏差:对比学习可能更多利用相似的背景外观,而非相似的运动信息。作者将其区分为具有统计显著性的广域背景偏差(wide background bias),以及与运动物体直接交互的微观背景偏差(micro background bias),并提出半负样本构造、像素级运动感知表征分解及联合双重损失进行处理。 针对广域背景偏差,方法先将视频帧序列中具有明显运动的动态因子与具有稳定不变性的静态因子解耦,再将原视频的动态因子与其他静态因子融合,构造前景相似性高于背景相似性的随机背景样本。其机制重点是改变前景与背景的配对关系,减少背景相似性对动作表征的支配;半负样本在对比目标中的具体定义及权重尚未验证。 针对微观背景偏差,像素级运动感知表征分解模块从相邻帧的特征空间计算像素级强度变化,并累积这些变化,形成关注运动物体边界的显著图。作者希望借此促使模型关注运动模式而非背景,同时以联合两类背景偏差的双重损失捕获静态与动态特征;具体损失公式、模块连接和训练流程尚未验证。 作者报告,热图显示方法能够缓解背景偏差,且在公共数据集上的表现优于其他已有方法。摘要未提供数据集名称、任务划分、基线、指标或数值,因此尚不能判断增益幅度、统计可靠性及跨场景泛化能力;实验协议、消融及统计信息尚未验证。 本文的主要对象是视频动作表征,并非 EEG 或 BCI。平台推测(待验证):将任务相关动态因素与背景干扰分离的思路可能对 EEG 表征中的混杂因素控制有所启发,但其实现依赖视频相邻帧、空间像素及前景边界,不能直接等同于 EEG 的时间变化、通道结构或神经活动来源。摘要尚不足以支持具体迁移方案,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其前景—背景半负样本构造与像素级运动分解能否分别缓解两类背景偏差,但摘要仅提供定性结果,性能增益及两类机制的独立贡献尚未验证。

来源:OpenReview · Representation learning · openreview.net