跳到正文
OpenReview · Representation learning· Peng Huang; Xiangbo Shu; Rui Yan; Zhewei Tu; Jinhui Tang·· 2025-01-01精选AI 评分72

面向组合动作识别的外观无关表征学习

Appearance-Agnostic Representation Learning for Compositional Action Recognition

AI 导读

基于摘要分析。本文研究组合动作识别(Compositional Action Recognition,CAR),目标是识别训练时未见过的动作与物体组合。作者提出由 Segment Anything Model(SAM)驱动的 Appearance-Agnostic Representation Learning(A2RL)框架,试图减少物体外观和背景偏差对组合泛化的影响,而非研究 EEG 或 BCI 解码。 作者指出,既有方法常借助物体框、物体类别等额外标注学习实例中心的动态表征,但这些方法仍可能依赖外观及背景线索。A2RL 包含 Fore-Back Mask(FBM)与 Dynamic Relation Modeling(DRM):FBM 使用使实例外观不可见、移除背景的细粒度掩码策略,削弱视觉线索与动作标签之间的强关联;DRM 则探索动作中主体与物体的关联,构建外观无关的关系描述符以进行动态建模。摘要未提供具体掩码实现、关系描述符形式、损失函数及 SAM 的训练或推理配置。 作者报告,FBM 在所评估的三种组合设置中均带来显著改进,且不增加额外模型参数;作者还报告完整方法相较近期 CAR 方法取得最优表现。摘要未列出数据集、组合划分、评价指标、具体数值或统计检验,因此尚不能判断收益幅度,以及参数统计是否包含 SAM、推理成本是否增加。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可供 EEG 研究借鉴的是削弱任务无关线索、保留任务相关关系的表征原则,而非直接复用 SAM 或主体—物体关系模块。原方法依赖可分割的视觉实例及动作—物体组合结构,EEG 通道与时序并无天然对应。若检验这一假设,可在固定跨被试划分下比较普通掩码与预定义干扰结构掩码,观察任务表现及被试身份可预测性是否同时改善;需警惕低信噪比下掩码破坏有效信号,以及小数据下关系估计不稳定。相关 EEG 工作尚未检索确认。

阅读价值

值得核对其通过 SAM 掩码削弱外观与背景偏差、再建模动作关系的机制,以及 FBM“不增加额外模型参数”的统计范围;摘要中的泛化优势仍需结合具体组合划分与对照验证。

来源:OpenReview · Representation learning · openreview.net