跳到正文
arXiv · 多模态与生成机制· Zhe Li; Shicheng Wang; Bowen Cai; Huan Fu·· 5 天前精选AI 评分74

CleanMDM:用于多模态运动清理的干净运动扩散模型

CleanMDM: Clean Motion Diffusion Model for Multimodal Motion Cleanup

AI 导读

基于摘要分析。CleanMDM 面向运动捕捉数据中的片段缺失、抖动、漂移和接触伪影,将运动清理表述为带有即插即用条件的掩码条件生成,旨在兼顾自动清理与用户可控修正;研究对象是人体运动数据,而非 EEG 或 BCI。 核心机制借鉴动画师识别、修正关键帧并插值重建运动的工作流程。单一模型支持任意组合的带噪 3D 运动、稀疏 2D 关键帧、稀疏 3D 关键帧与文本条件。相较于难以保留可靠片段或约束用户意图的黑箱去噪器,该框架强调条件组合与控制能力。作者还引入 Latent Motion Quality Discriminator(LMQD),以改善运动学分布匹配并减少滑步、抖动和相互穿透伪影;推理阶段使用 Mesh-Aware Contact Projection,通过测试时优化增强接触与物理一致性。具体掩码策略、扩散训练目标、判别器训练方式及优化细节尚未验证。 作者报告,在多个数据集的实验中,CleanMDM 持续优于既有运动清理与生成基线,并且文本和 2D 关键帧等低成本条件可提升多模态清理的可控性。摘要未提供数据集名称、划分、基线名称、指标及数值,因此无法量化收益或判断不同条件下的适用范围;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,掩码条件生成可能用于 EEG 缺失片段重建,在可靠观测片段约束下补全信号。但运动关键帧、文本条件和网格接触约束不能直接对应 EEG;条件编码、质量判别依据及约束目标均需改造。EEG 低信噪比、跨被试差异、通道布局变化和小数据可能导致生成结果外观平滑却损伤任务相关信息。可检验的小实验是在固定被试内划分中,对完整 EEG 人工遮蔽连续片段,对比插值、无条件约束的生成补全和可靠片段条件补全,同时评估重建误差与下游任务表现;该实验仅检验人工缺失场景,不证明真实伪影清理有效。相关 EEG 工作尚未检索确认。

阅读价值

值得阅读的是将运动清理表述为可组合多模态条件的掩码条件生成,并结合运动质量判别与测试时接触优化;其对 EEG 清理的可迁移性尚未验证。

来源:arXiv · 多模态与生成机制 · arxiv.org