GenFusion:通过渐进式规范空间更新实现前馈式人体动态捕获
GenFusion: Feed-forward Human Performance Capture via Progressive Canonical Space Updates
基于摘要分析。GenFusion 研究从单目 RGB 视频流捕获人体动态并渲染表演者新视角的问题,核心贡献是逐帧更新规范空间(canonical space),积累已观测的身体外观信息,并以概率回归利用这些历史信息完成当前帧的重建与未观测区域合成。 单目输入对身体区域的覆盖有限,尤其难以直接观察背面或遮挡区域。该方法假设主体随时间连续运动,使更多身体部位逐步进入视野;规范空间随输入帧更新,作为上下文库,在当前帧缺乏直接观测时提供历史外观信息。这里的研究对象是人体视觉重建,不是神经信号解码;来源栏目中的 State space models 不能据此视为论文已采用某种状态空间模型架构的证据。 为利用历史上下文并兼顾当前人体形变,作者将渲染过程表述为概率回归。作者报告,相比确定性回归,这一处理能够缓解过去与当前观测之间的冲突,生成更清晰的重建,并可对从未观测过的区域合成合理外观。摘要未说明概率分布、损失函数、规范空间表示、更新规则或具体推理开销,这些实现细节尚未验证。 作者报告在域内数据集 4D-Dress 与分布外数据集 MVHumanNet 上进行了实验,结果支持方法有效性,但摘要未提供指标数值、数据划分、具体对照或统计信息,因此不能量化其优势,也不能将域外评估直接解释为任意场景泛化。实验协议、消融及统计信息尚未验证,代码与复现条件亦需进一步核对。材料没有给出该视觉重建机制与 EEG/BCI 的具体对应关系,不据此提出神经信号迁移结论。
值得关注其通过渐进更新规范空间积累跨帧外观信息、以概率回归处理历史与当前观测冲突的机制,但具体效果与复现条件仍需全文核对,摘要不支持其 EEG/BCI 有效性。
来源:OpenReview · State space models · openreview.net