跳到正文
OpenReview · State space models· Jinglei Zhang; Jiankang Deng; Chao Ma; Rolandos Alexandros Potamias·· 2025-01-01精选AI 评分75

HaWoR:从第一视角视频重建世界坐标系中的手部运动

HaWoR: World-Space Hand Motion Reconstruction from Egocentric Videos

AI 导读

HaWoR 研究第一视角视频中手部与相机同时运动时的世界坐标系手部运动重建,提出将相机坐标系下的手部运动重建与世界坐标系下的相机轨迹估计解耦,并通过运动补全处理手部离开视野后的缺失帧。基于摘要分析,未取得论文全文。 核心机制包含两个配套模块:自适应第一视角 SLAM 框架用于应对复杂相机运动下的轨迹估计;motion infiller network 用于补全手部运动序列中的缺失帧。相较于主要处理单张图像、在相机坐标系中重建手部的方法,本文关注随时间变化的手部运动及其世界坐标表达,而非仅估计单帧姿态。摘要未披露 SLAM 的自适应机制、补全网络结构、损失函数、训练监督或推理流程,不能据来源栏目将其认定为使用状态空间模型。 作者报告,在不同第一视角基准数据集的定量与定性评估中,HaWoR 在手部运动重建和世界坐标系相机轨迹估计上达到最先进性能;但摘要未提供数据集名称、划分、指标数值和对照基线,性能优势及适用边界尚未验证。实验协议、消融及统计信息也尚未验证。作者称代码与模型已公开,其可用性、运行条件及复现结果尚未核验。 该研究的主要对象是视觉手部运动与相机轨迹重建,材料未提供 EEG 或 BCI 实验,也未给出可直接验证的神经信号方法对应关系,因此不据此推断 BCI 有效性。

阅读价值

值得阅读之处是将世界坐标系手部运动重建拆分为相机坐标系手部重建、相机轨迹估计与缺失运动补全,可据此核对各环节对动态第一视角场景的贡献,但摘要不足以验证性能优势。

来源:OpenReview · State space models · openreview.net