跳到正文
OpenReview · State space models· Qiaosong Qi; Le Zhuo; Aixi Zhang; Yue Liao; Fei Fang; Si Liu; Shuicheng Yan·· 2023-01-01精选AI 评分72

DiffDance:用于舞蹈生成的级联人体运动扩散模型

DiffDance: Cascaded Human Motion Diffusion Model for Dance Generation

AI 导读

基于摘要分析。DiffDance 面向音乐驱动的高分辨率、长序列舞蹈生成,旨在缓解自回归采样的误差累积与长期结构建模困难,同时兼顾人体运动的物理合理性和音乐节奏对齐。 方法由 music-to-dance 扩散模型与序列超分辨率扩散模型级联构成。作者使用预训练音频表征学习模型提取音乐嵌入,并通过对比损失将音乐嵌入空间与运动表征对齐,以支持条件生成。训练还引入多种几何损失来约束运动的物理合理性,以及随扩散时间步自适应变化的动态损失权重;作者将后者用于促进样本多样性。摘要未给出具体音频编码器、几何损失公式或动态加权策略。 作者报告,在 AIST++ 基准数据集上的实验中,DiffDance 能生成逼真且与输入音乐有效对齐的舞蹈序列,效果可与先进自回归方法相比。摘要未提供具体指标、数值、数据划分和对照方法名称,因此不能进一步判断各维度优势。长序列生成协议、超分辨率设置、消融及统计信息尚未验证。 平台推测(待验证):其可迁移线索在于跨模态条件对齐与分阶段时序生成,而非已验证的神经信号解码能力。假设用于配对 EEG—运动序列的条件生成,可复用级联框架,但需替换音频编码器,并重新设计 EEG 与运动的对齐方式;人体几何约束适用于运动输出,不能直接作为 EEG 信号约束。该假设依赖足够的同步配对数据,可能受 EEG 低信噪比、跨被试及通道差异和小样本训练影响。一个可证伪的小实验是在相同跨被试划分下,对比加入与不加入对比对齐的条件生成模型,检验运动重建质量及条件一致性是否改善。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将音乐条件对齐、级联序列生成与几何约束结合的具体机制,但摘要仅支持舞蹈生成场景,不能据此认定其对 EEG/BCI 有效。

来源:OpenReview · State space models · openreview.net