跳到正文
arXiv · 多模态与生成机制· Yijin Wei; Yawen Zou; Wenqi Cai; Guang Li; Hangli Ge; Katsuya Hotta; Chunzhi Gu; Chao Zhang·· 5 天前精选AI 评分72

ProMoDD:通过原型条件扩散模型进行三维人体运动数据集蒸馏

ProMoDD: Dataset Distillation for 3D Human Motion via Prototype-Conditioned Diffusion Models

AI 导读

基于摘要分析。ProMoDD 面向基于骨架的动作识别,研究如何用少量运动序列保留大型数据集的训练效用,同时维持人体关节几何与时间连续性。其核心贡献是将类别原型引导的运动扩散生成与特征空间中的真实、生成序列混合选择结合,而非直接优化关节坐标或仅追求生成运动的合理性。 方法以保留时间分辨信息的识别特征构建类别原型,用其作为运动扩散模型的条件;作者还针对骨架构型及其时间演化调整扩散训练,但摘要未提供具体训练目标。随后,在固定的每类序列预算下,使用代表性真实序列覆盖汇总识别特征空间中的密集区域,并选择生成候选补充较稀疏区域,以兼顾真实运动的可靠性与合成样本的变化覆盖。 作者报告,在 NTU RGB+D 60 单人动作类别构成的五个按难度分层的子集上,增益在紧张蒸馏预算下最明显。其中,Full49 在每类三条序列预算下达到 40.32% top-1 Accuracy,比按类别进行的 k-means 高 4.57 个百分点。该结果对应完整框架,不能据此独立判断原型条件、扩散训练调整或混合选择各自的贡献。作者还报告,同一批蒸馏集无需重新生成即可用于训练 ST-GCN、MS-G3D 和 CTR-GCN;这不等于跨数据集或跨任务泛化已获验证。 实验划分、识别特征提取方式、原型构建细节、扩散训练规模、候选筛选开销、消融及统计信息尚未验证。平台推测(待验证):类别级时序特征原型与预算感知样本选择,可能为 EEG 小样本训练集压缩提供机制参考,但骨架几何约束不能直接替代 EEG 的通道结构与信号统计约束。若检验这一假设,可先在固定被试内划分和每类预算下比较真实样本选择与真实—生成混合选择;低信噪比、小数据及跨被试分布差异可能使原型失真或生成样本失效。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其类别原型条件生成与预算感知混合选择如何共同提升小预算数据蒸馏效果,以及同一蒸馏集跨识别模型复用的适用边界;摘要中的增益属于完整框架,尚不能归因于单一模块。

来源:arXiv · 多模态与生成机制 · arxiv.org