面向组合动作识别的外观无关表征学习

基于摘要分析。本文研究视频中的 Compositional Action Recognition（CAR，组合动作识别），目标是识别训练中未见过的动作与物体组合。作者提出由 Segment Anything Model（SAM）驱动的 Appearance-Agnostic Representation Learning（A2RL）框架，试图削弱物体外观和背景偏置，缓解训练与测试之间的分布偏移。 方法包含 Fore-Back Mask（FBM）与 Dynamic Relation Modeling（DRM）两个子模块。FBM 使用细粒度的实例不可见、背景移除掩码策略，弱化视觉线索与动作标签之间的关联，减少无关因素干扰；DRM 建模动作中主体与物体的潜在关联，构建外观无关的关系描述用于动态建模。与借助物体框、物体类别等额外标注学习实例中心动态表征的既有方法相比，本文的核心思路是降低外观信息对组合识别的支配作用。摘要未说明完整训练目标、SAM 的使用方式及关系描述的具体计算过程。 作者报告，FBM 在三种组合设置下均取得显著改进，且不增加额外模型参数；作者还报告 A2RL 相比近期 CAR 方法达到最先进性能。但摘要未提供数据集、划分、指标、数值、统计检验或基线配置，因此尚不能判断收益大小及其稳定性。“不增加额外模型参数”也不能直接等同于不增加 SAM 相关处理或推理开销，具体适用范围需查阅全文。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可供 EEG 研究参考的是抑制与任务标签偶然相关的干扰因素，而非直接复用视频分割模块。假设这一思路可帮助组合任务解码，则需先明确 EEG 中可分离的任务因素、干扰因素及相应监督；SAM 掩码和主体—物体关系描述不能直接对应 EEG 通道或时频特征。低信噪比、小样本及跨被试差异可能使掩码同时删除有效神经信息，当前材料不足以支持具体迁移方案或 BCI 效果判断。已有 EEG 相关工作尚未检索确认。