跳到正文
OpenReview · State space models· Jinglei Zhang; Jiankang Deng; Chao Ma; Rolandos Alexandros Potamias·· 2025-01-01精选AI 评分76

HaWoR:从第一视角视频重建世界坐标系中的手部运动

HaWoR: World-Space Hand Motion Reconstruction from Egocentric Videos

AI 导读

基于摘要分析。HaWoR 研究第一视角视频中手与相机同时运动时的世界坐标系手部运动重建,核心贡献是将相机坐标系下的手部运动重建与世界坐标系下的相机轨迹估计解耦,并通过运动补全处理手部离开视野造成的序列缺失。 方法包含两个关键机制:一是自适应第一视角 SLAM 框架,用于估计复杂相机动态下的相机轨迹;二是 motion infiller network,用于补全手部不可见期间的缺失帧,使手部运动轨迹在时间上保持完整。其研究重点不同于仅从单幅图像恢复相机坐标系中 3D 手部姿态的方法,而是同时处理相机自运动与手部世界空间运动。摘要未说明 SLAM 的自适应策略、补全网络结构、训练监督或损失设计,不能据此认定其采用 State Space Model。 作者报告,在多个第一视角基准数据集的定量与定性评估中,HaWoR 在手部运动重建和世界坐标系相机轨迹估计上达到当时最优表现;但摘要未列出数据集名称、划分、对照方法、具体指标或数值,实验协议、消融及统计信息尚未验证。作者声明代码与模型已提供,实际开放内容及复现条件尚未核验。 本研究的主要对象是视觉手部运动与相机轨迹重建,并非 EEG 或 BCI 解码。现有材料不足以支持其对神经信号建模的具体迁移价值,不据此提出 BCI 有效性结论。

阅读价值

值得关注其将相机运动与手部运动解耦、并补全视野外手部轨迹的处理思路,但其性能优势及适用边界仍需结合全文中的评估协议核对。

来源:OpenReview · State space models · openreview.net