跳到正文
OpenReview · Representation learning· Jihyun Lee; Junbong Jang; Donghwan Kim; Minhyuk Sung; Tae-Kyun Kim·· 2023-09-22精选AI 评分78

FourierHandFlow:基于 Fourier 查询流的神经 4D 手部表示

FourierHandFlow: Neural 4D Hand Representation Using Fourier Query Flow

AI 导读

基于摘要分析。FourierHandFlow 研究从 RGB 视频学习时空连续的人手 4D 表示,将 3D 占据场与以 Fourier 级数表示的关节感知查询流结合,旨在捕捉关节形变中的隐式对应关系,并缓解时间形变抖动。 核心机制是为每条查询流学习固定数量的 Fourier 系数,以参数化平滑、连续的时间动态。表示由两类流组成:pose flow 通过隐式线性混合蒙皮描述手部关节变化对查询点动态的影响;shape flow 描述逐查询点的位移流。相较于摘要讨论的两类既有方案——不利用形状与关节先验的查询流,以及按时间值分别解码占据状态的方法——本方法将关节结构先验与连续时间参数化结合。具体训练监督、损失形式、系数数量及推理流程尚未验证。 作者报告,在视频 4D 重建实验中,该方法达到其所比较方法中的领先结果,且计算效率优于现有 3D/4D 隐式形状表示;另展示了运动插值、外推,以及利用所学隐式形状对应关系进行纹理迁移。摘要未提供数据集、划分、评价指标、数值或计算开销口径,实验协议、消融及统计信息尚未验证。作者称其为首个从 RGB 视频学习的神经连续 4D 手部表示;代码仅声明将公开,当前可用性尚未验证。 平台推测(待验证):可迁移的假设是,有限 Fourier 系数参数化或可作为连续运动轨迹解码的平滑约束,而非直接作为 EEG 表征方法。若用于 EEG 驱动的手部运动解码,需要配对的 EEG 与运动轨迹监督,改造 RGB 输入模块,并核对关节先验是否适用。低信噪比、小样本、跨被试差异及突发动作可能使该约束失效或造成过度平滑。可先在同一数据划分、同一解码器下对比有无 Fourier 轨迹参数化时的轨迹误差与快速动作保真度;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以关节感知查询流和 Fourier 级数联合约束手部连续形变的机制,但作者报告的重建质量与计算效率优势仍需结合全文实验协议核验,不构成 EEG/BCI 有效性的证据。

来源:OpenReview · Representation learning · openreview.net