通过从基础到高级的层次化扩散模型实现细致的文本到动作合成
Towards Detailed Text-to-Motion Synthesis via Basic-to-Advanced Hierarchical Diffusion Model
基于摘要分析。该研究面向文本引导的 3D 人体动作合成,提出 Basic-to-Advanced Hierarchical Diffusion Model(B2A-HDM),试图同时提升动作与文本的对应关系及动作细节,而非研究 EEG 解码或 BCI。 作者认为,既有方法在原始数据分布或低维潜空间中执行扩散,分别可能面临模态不一致或细节不足的问题。B2A-HDM 将生成过程分为两个层次:低维潜空间中的基础扩散模型提供与文本描述一致的中间去噪结果;高维潜空间中的高级扩散模型随后执行细节增强去噪。高级模型还采用多去噪器框架,旨在降低高维模型的学习难度并发挥扩散模型的生成能力。摘要未说明潜空间的构建方式、两个阶段的具体连接方式、多去噪器分工及损失形式。 作者报告,在 HumanML3D 和 KIT-ML 两个文本到动作基准上的定量与定性实验中,B2A-HDM 在保真度、模态一致性和多样性方面优于既有先进方法。摘要未提供具体指标、数值、数据划分或基线名称,不能据此判断提升幅度;实验协议、消融及统计信息尚未验证,代码与复现条件也尚未验证。 平台推测(待验证):其“先确定低维条件结构、再补充高维细节”的机制可作为条件 EEG 生成的研究假设,但原领域有效不等于 BCI 有效。可复用的是两阶段扩散分工,需改造的是 EEG 表征、条件输入与生理约束;原方法依赖文本—动作配对及低维、高维潜表示,训练规模未知。EEG 的低信噪比、跨被试差异、通道变化和小样本可能使细节增强变成噪声增强。一个可证伪的小实验是在固定被试内划分与相同训练数据下,对比单阶段和两阶段条件生成,检查频谱、空间协方差及独立真实测试集上的解码表现,而非仅比较生成外观。已有 EEG 相关工作尚未检索确认。
值得关注其以低维扩散约束文本一致性、再以高维扩散增强动作细节的分工机制,但性能优势及多去噪器的独立贡献仍需核对全文实验。
来源:OpenReview · State space models · openreview.net