DewHand:从第一视角视频直接重建度量世界坐标系下的手部运动
DewHand: Direct Metric World-Space Hand Motion Reconstruction from Egocentric Videos
基于摘要分析。DewHand 研究从第一视角视频恢复具有真实物理尺度的世界坐标系手部运动,旨在缓解分阶段估计的误差传播、单目尺度歧义,以及遮挡或手部离开视野时的运动不确定性。其核心贡献是以单阶段模型联合预测手部和相机运动,并将重建表述为条件运动生成。 机制上,模型在共享世界坐标系中联合估计手部与相机运动,结合 VGGT-Ω 的场景级几何特征与度量空间监督处理尺度问题,同时利用手部专用特征保留精细关节运动。针对不可见区间,模型使用 flow matching 生成条件运动轨迹。作者报告,在相同架构下,该生成式方案仅用两步采样,准确性和时间平滑性均优于直接回归;具体网络结构、损失配置和训练规模尚未验证。 作者报告,在 HOT3D 和 ARCTIC 的评估中,相较 StableHand,刚体对齐后的世界空间误差分别从 32.9 降至 28.4 mm、从 76.2 降至 36.2 mm。在 HOT3D 上,约三分之二片段的相机尺度恢复误差在 10% 以内,SLAM 对照约为四分之一。在跨设备采集的 HoloAssist、H2O 和 TACO 零样本评估中,作者报告 DewHand 在各数据集均取得最低的刚体对齐世界空间误差 WA-MPJPE。数据划分、对齐细节、基线配置、消融及统计信息尚未验证;这些结果不能替代未对齐条件下绝对尺度和轨迹精度的评估。 该研究的直接对象是视觉手部运动重建,而非神经信号解码。平台推测(待验证):若用于同步视频与 EEG 的手部运动研究,其可作为候选运动学标注工具,但依赖场景几何与度量监督,遮挡区间的生成轨迹不应直接当作真实标签。可先在小规模同步视频与参考运动捕捉数据上检验尺度误差及遮挡段误差,再决定是否用于神经解码监督;相关 EEG 工作尚未检索确认。
值得关注其将世界坐标系下手部与相机运动联合重建、度量尺度监督和 flow matching 结合的机制,作者报告了跨设备零样本评估结果,但其对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · State space models · openreview.net