InvAct:减少视角不变原子动作学习中的场景偏差
InvAct: Reducing Scene Bias in View-Invariant Atomic Action Learning
基于摘要分析。该研究针对第一人称与第三人称视频之间的动作匹配问题:不同视角常共享环境,模型可能依赖场景而非动作完成匹配。作者提出原子动作嵌入模型 InvAct,旨在同时获得视角不变性与场景不变性,改善细粒度原子动作理解。 核心机制包括两部分。其一是 structured token commitment,通过逐行硬注意力掩码,将每个视频 token 路由至单个特殊 token 槽位:动作相关 token 与 class token 对齐,非动作 token 与 register tokens 对齐,后者在推理时被丢弃,以减少场景线索对动作表示的影响。其二是 scene-aware contrastive objective,拉近不同场景中的同类动作片段,同时分离同一场景中的不同动作,直接约束动作与场景的混淆。 作者报告,在 Ego-Exo4D 上,InvAct 改善了跨场景、跨视角原子动作检索,并降低同场景偏差;摘要未提供具体指标、数值及对照基线。作者还报告,仅用原子动作训练后,组合其嵌入即可在不重新训练的条件下支持较长动作检索;同一检查点无需微调即可迁移至未见数据集,并可为机器人策略预训练提供有用的潜在目标。这些是视频动作表征及机器人学习语境下的结果,不构成 EEG 或 BCI 有效性的证据。 复现时需核对动作与场景的标注及采样方式、跨场景与跨视角的数据划分、同场景偏差的度量,以及硬路由和对比目标各自的贡献。较长动作的嵌入组合方式、未见数据集名称、机器人预训练设置及代码可用性均未在摘要中明确,实验协议、消融及统计信息尚未验证。已有 EEG 相关工作尚未检索确认。
值得关注其用结构化 token 路由与场景感知对比目标区分动作线索和场景捷径的机制,但检索增益、迁移效果及各模块贡献仍需结合全文实验核对。
来源:OpenReview · Representation learning · openreview.net