跳到正文
OpenReview · State space models·· 2026-08-23精选AI 评分70

连接 2D 观测与学习得到的 3D 运动学:用于 3D 人体姿态估计的目标空间锚定与细化

Bridging 2D Observations and Learned 3D Kinematics: Target-Space Anchoring and Refinement for 3D Human Pose Estimation

AI 导读

基于摘要分析。本文研究单目 3D 人体姿态估计(3D-HPE),针对现有 Mamba 方法通常在由 2D 姿态构建的表征上传播状态、未显式表示 3D 骨架与轨迹模式的问题,提出 KAR-Mamba。核心贡献是学习目标空间的运动学表征,并用其引导 Mamba 状态传播与更新。 方法包含四个环节:Codebook-Guided 3D Pose Anchoring 利用学习得到的骨架与轨迹码本,将初始 3D 关系向代表性人体运动模式校正,构建具有运动学信息的姿态锚点;Skeletal-Trajectory Aligned Scanning 沿骨架链与关节轨迹组织扫描,将锚点导出的运动学依赖对齐到相应状态转移;Kinematic-Dependency-Modulated State Updating 用这些关系调制输入依赖的状态参数;最终将细化后的表征解码为相对于锚点的偏移,预测 3D 姿态。其区别在于让目标空间关系参与状态建模,而不只是作为最终预测结果。 作者报告,在 Human3.6M 与 MPI-INF-3DHP 上取得具有竞争力的准确性,实验支持学习到的 3D 运动学表征对细化的作用。摘要未给出具体指标、数值、数据划分及对照结果,无法据此判断增益幅度。码本构建方式、监督需求、损失函数、实验协议、消融及统计信息尚未验证。作者表示代码将公开,当前材料不能确认已发布。 平台推测(待验证):可迁移的假设是,用任务相关的结构先验引导状态空间模型的扫描与更新,可能有助于 EEG 时空建模;这不等于人体运动学码本可直接用于 EEG。原方法依赖骨架链、关节轨迹及学习得到的 3D 关系,EEG 则需另行构建通道拓扑或任务相关潜在关系,并核对其监督与数据规模需求。可考虑复用关系调制状态更新的思路,但锚点、码本和扫描顺序均需改造;低信噪比、跨被试差异、通道变化及小数据可能使先验失配。一个可证伪的小实验是在固定 EEG 任务与跨被试划分下,仅用训练数据学习关系,对比普通 Mamba、关系调制版本及打乱关系版本。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是 KAR-Mamba 如何将目标空间的骨架与轨迹关系显式用于 Mamba 的扫描和状态更新,而非仅处理来自 2D 姿态的表征;其具体增益与适用边界尚需全文实验验证。

来源:OpenReview · State space models · openreview.net