通过捕捉手—物接触与物体状态进行第一视角动作识别
Egocentric Action Recognition by Capturing Hand-Object Contact and Object State
基于摘要分析。本文研究第一视角动作识别(egocentric action recognition,EAR)中如何更准确地捕捉行动者与物体的交互,提出 Hand-Object Contact Learning(HOCL)和 Object State Learning(OSL),分别引导识别模型关注动作中的手—物接触,以及手部动作引起的物体状态变化。研究对象是视觉动作识别,不是 EEG 解码或 BCI。 机制上,HOCL 强调交互发生时的接触信息,OSL 强调动作造成的对象变化,两者从不同角度补充动作识别线索。摘要未说明接触与状态信息如何标注或提取,也未给出损失形式、训练流程及推理时是否需要额外输入,因此尚不能判断其监督成本与复现条件。 作者报告,在 EGTEA、MECCANO 和 EPIC-KITCHENS 100 上,使用 CNN-based model 与 transformer-based model 评估 HOCL 和 OSL,其应用带来的 overall accuracy 最大提升分别为 2.24%、3.97% 和 1.49%。这些数值沿用摘要表述;其表示相对百分比还是百分点、对应哪种模型与方法组合,以及数据划分和对照基线,尚未验证,不能据此直接比较跨数据集效果。作者还报告,小训练样本及陌生场景数据上的表现有所改善,定性分析显示模型更准确地捕捉了行动者与物体的交互;摘要未提供这些分析的具体协议或数值。 阅读全文时需核对监督来源、HOCL 与 OSL 的独立及联合贡献、模型间的一致性,以及小样本和陌生场景的定义。实验协议、消融及统计信息尚未验证。当前材料未建立与 EEG/BCI 的具体机制对应关系,不据此提出迁移有效性结论;已有 EEG 相关工作尚未检索确认。
值得阅读的具体原因是 HOCL 与 OSL 将手—物接触和物体状态变化作为第一视角动作识别的学习重点,并在 CNN 与 transformer 模型上评估;其监督构造及对小样本、陌生场景的作用仍需全文核对。
来源:OpenReview · State space models · openreview.net