COME:改进表示学习与生成建模以实现高质量文本到运动生成
COME: Advancing Representation Learning and Generative Modeling for High-Quality Text-to-Motion Generation
该研究面向 Text-to-Motion,即根据自然语言描述生成三维人体运动,提出连续扩散框架 COME,分别改进运动表示与条件生成建模。基于摘要分析,尚未取得论文全文;研究对象是人体运动生成,而非 EEG 解码或 BCI。 作者认为,现有连续扩散方法受到运动表示拥挤、可分性不足以及生成建模不理想的限制。COME 包含 Motion Contrastive Masked Autoencoder(MoCMAE)与 Cross-Condition Diffusion Transformer(ccDIT):前者采用非对称混合架构,将 Masked Motion Modeling 与 Contrastive Learning 结合,分别用于提取关键时空特征和增强特征辨别性;后者通过 ccDIT block 处理全局与细粒度语义,并引入 Stable-Min-SNR-γ,旨在缓解训练与推理不一致及不同时间步之间的冲突。摘要未提供具体损失形式、条件注入方式或网络配置。 作者报告,COME 在其开展的实验中达到 SOTA,并提升训练与推理效率;但摘要未列出数据集、划分、对照方法、指标和计算资源,因此无法核对优势幅度及适用边界。作者将连续框架与运动编辑、个性化、多模态控制的需求联系起来,但摘要不足以确认这些能力是否均经过直接评估。实验协议、消融及统计信息尚未验证。 平台推测(待验证):MoCMAE 的掩码建模与对比学习组合可作为 EEG 时序表示学习的候选思路,但这是假设,不代表 COME 已在 BCI 中有效。原方法依赖文本与三维运动的语义对应;迁移时需重设 EEG 通道—时间表示、掩码策略及正负样本定义,不能直接照搬运动语义条件模块。低信噪比、跨被试差异和小样本可能使对比目标偏向被试或采集条件,而非任务信息。一个可检验的小实验是在固定被试独立划分、相同编码器和训练预算下,对比仅掩码建模与加入对比学习后的跨被试解码表现,并核对提升是否稳定。相关 EEG 工作尚未检索确认。
值得核对其通过 MoCMAE 改善运动潜在表示、通过 ccDIT 改善条件生成的组合机制,但摘要所述生成质量与效率优势仍需结合具体基线、评估协议及消融验证。
来源:OpenReview · Representation learning · openreview.net