跳到正文
OpenReview · State space models·· 2026-09-04精选AI 评分79

EgoFound3R:带逐点交互属性的端到端第一人称视角世界空间手部重建

EgoFound3R: End-to-End Egocentric Hand Reconstruction in World Space with Point-Wise Interaction Attributes

AI 导读

基于摘要分析。该研究面向第一人称视角视频中的世界空间手部重建,旨在应对相机运动、手部遮挡以及多模型流水线带来的推理成本问题。EgoFound3R 将手部几何重建与逐点交互属性预测统一到端到端模型中,使手部与场景处于共享的公制尺度,并在一次前向处理中输出几何及交互属性。 方法包含三项设计:结构化手部提示,将预训练几何先验迁移到世界空间手部重建;显式手部表示,用于解码手部几何及可见性、接触和距离等逐点属性;共享参数的多速率设计,用于降低推理成本。其主要方法贡献是联合处理此前通常分离的几何估计与交互属性预测,而非 EEG 或 BCI 信号建模。摘要未说明预训练先验来源、提示构造、监督方式、损失函数及多速率调度细节,这些均尚未验证。 作者报告,在 OakInk-v2、TACO 和 HOI4D 上,相较此前方法,平均每关节位置误差(MPJPE)分别降低 43.2%、22.4% 和 11.6%;同时在同一次前向处理中预测逐点接触与距离,并达到约 6 倍吞吐量。上述结果的具体对照方法、数据划分、相机与尺度信息使用条件,以及吞吐量测试的硬件、输入配置和计时范围,摘要均未交代,因此不能据此判断不同协议下的优势或将其解释为完整标注流水线的等比例加速。 进一步阅读应重点核对世界坐标与公制尺度的获取方式、遮挡情形下的误差、交互属性评估指标,以及三项设计的独立贡献。实验协议、消融及统计信息尚未验证;代码、权重和复现条件亦无法由现有材料确认。摘要未提供与神经信号解码的具体机制对应关系,不据此推断 BCI 有效性。

阅读价值

值得核对其如何以统一几何表示联合预测手部运动与逐点交互属性,以及共享参数多速率设计能否在保持重建质量的同时降低大规模视频标注成本。

来源:OpenReview · State space models · openreview.net