跳到正文
OpenReview · State space models· Ziyan Wang; Giljoo Nam; Tuur Stuyck; Stephen Lombardi; Chen Cao; Jason M. Saragih; Michael Zollhöfer; Jessica K. Hodgins; Christoph Lassner·· 2023-01-01精选AI 评分76

NeuWigs:用于体积式头发捕获与动画的神经动态模型

NeuWigs: A Neural Dynamic Model for Volumetric Hair Capture and Animation

AI 导读

基于摘要分析。NeuWigs 研究虚拟现实逼真化身中的人类头发捕获与动画生成问题,针对头发复杂的几何、外观及运动,提出将头发与头部独立建模的两阶段数据驱动方法。其主要贡献是先学习三维头发状态的低维表示,再利用潜在编码建立头发动力学模型;研究对象是计算机图形学中的头发重建与动画,而非 EEG 或 BCI。 第一阶段为状态压缩:采用 autoencoder-as-a-tracker 策略,学习同时包含运动与外观信息的三维头发状态潜在空间。为在外观学习中更好地分离头发与头部,方法结合多视角头发分割掩码和可微体积渲染器。摘要未说明跟踪策略的具体实现、网络结构、监督信号与损失形式。 第二阶段利用第一阶段得到的潜在编码,优化用于时序头发迁移的动力学模型。为提升驱动过程的稳定性,作者复用状态压缩阶段的三维点云自编码器,对头发状态进行去噪。这体现了将状态表示学习与动态演化建模分开的设计,并通过状态去噪约束动态生成过程。 作者报告,该模型在新视角合成任务中优于当时的最先进方法,并能在不以头发观测作为驱动信号的情况下生成新的头发动画;但摘要未提供数据规模、测试划分、对照方法、指标或数值,也未交代其他驱动信号的具体形式,因此无法据此判断优势幅度与泛化范围。实验协议、消融及统计信息尚未验证。摘要提供了项目页,但代码、数据与复现配置的可用性尚未验证。 该方法依赖三维点云、多视角分割与体积渲染等视觉数据结构,材料未建立其与神经信号解码的具体对应关系,因此不据此提出 EEG/BCI 迁移效果或复现实验建议。

阅读价值

值得阅读其将三维头发状态压缩、外观解耦与潜在空间动力学结合的具体机制,但摘要中的性能结论尚需核对评估协议,材料不支持将其视为已验证的 BCI 方法。

来源:OpenReview · State space models · openreview.net