第一视角视频中沿手部交互时间线的物体重建
Reconstructing Objects along Hand Interaction Timelines in Egocentric Video
基于摘要分析。本文研究第一视角视频中的刚性物体重建,提出 Reconstructing Objects along Hand Interaction Timelines(ROHIT)任务,并以 Constrained Optimisation and Propagation(COP)框架利用手部交互过程中的姿态约束,沿时间线传播物体姿态。 核心机制是从物体视角定义 Hand Interaction Timeline(HIT):物体起初相对场景静止,接触后被手持并发生姿态变化,使用期间通常保持牢固抓握,释放后再次相对场景静止。研究重点限定于稳定抓握片段,即使用时手持续稳定地接触物体;COP 对这些阶段的姿态约束进行建模并传播姿态,以改善重建。具体优化目标、约束表达、姿态初始化方式及传播实现尚未验证,不能从来源栏目推断其采用 State Space Model。 评估覆盖 HOT3D 与真实场景 EPIC-Kitchens。作者在 HOT3D 中整理了 1.2K 个稳定抓握片段;在 EPIC-Kitchens 中标注了 2.4K 个稳定抓握片段,涉及 141 个环境、9 个类别和 390 个物体实例。针对缺少三维真值的评估情形,作者使用二维投影误差衡量重建。作者报告,COP 在稳定抓握重建上改善 6.2–11.3%,通过受约束姿态传播使 HIT 重建改善最高达 24.5%;摘要未明确这些改善对应的具体基线、误差计算方式及数据划分,因此不宜将其解释为三维精度的同幅提升。 该方法依赖刚性物体、稳定接触和可利用的视觉几何约束,其在抓握滑动、接触切换或物体形变时的适用性需查阅正文。实验协议、消融及统计信息尚未验证;二维投影评估与真实三维质量之间的关系也是复现时需核对的重点。本文主要贡献属于视觉物体重建,材料未提供与 EEG/BCI 的具体机制对应,不据此生成迁移方案。
值得关注其利用稳定抓握与物体状态转换约束姿态传播的重建机制,但需核对二维投影误差所反映的三维重建质量及约束适用范围,尚不能据此推断 BCI 有效性。
来源:OpenReview · State space models · openreview.net