跳到正文
OpenReview · Representation learning· Yunyao Mao; Jiajun Deng; Wengang Zhou; Zhenbo Lu; Wanli Ouyang; Houqiang Li·· 2025-01-01精选AI 评分74

I²MD:基于模态间与模态内相互蒸馏的 3D 动作表征学习

$\hbox {I}^2$MD: 3D Action Representation Learning with Inter- and Intra-Modal Mutual Distillation

AI 导读

基于摘要分析。该研究面向基于骨架的自监督 3D 人体动作表征学习,针对不同骨架模态间互补信息利用不足,以及动作类别有限时相似实例对对比学习造成干扰的问题,提出 Inter- and Intra-Modal Mutual Distillation(I²MD)框架,结合模态间与模态内相互蒸馏。 模态间部分采用 cross-modal mutual distillation(CMD):不同于由预训练且固定的教师向学生传递知识,各模态在预训练期间持续更新知识并进行双向蒸馏。模态内部分采用 intra-modal mutual distillation(IMD),通过 dynamic neighbors aggregation(DNA)在每个模态中增加簇级判别分支,自适应聚合高度相关的邻近特征,形成局部簇级对比,再在两个分支之间相互蒸馏以交换不同层级的知识。摘要未给出具体骨架模态、损失形式、邻域选择规则或训练配置。 作者报告在三个数据集上的广泛实验取得了一系列新纪录,但摘要未提供数据集名称、评估划分、指标数值及对照方法,因而无法核对优势幅度或比较不同协议下的表现;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 的不同视图能够提供互补且与任务相关的信息,CMD 的双向知识交换与 DNA 的邻域聚合可能用于缓解视图信息利用不足和相似实例干扰;这是迁移假设,并非已验证的 BCI 效果。可复用的是相互蒸馏与实例级、簇级知识交换思路,需改造 EEG 编码器、视图构造和邻域选择。低信噪比、被试差异、通道差异及小数据可能使邻域按噪声或被试身份聚集。一个可检验的小实验是在固定 EEG 数据划分与编码器下,对比普通对比学习、加入 CMD、再加入 IMD 的结果,并检查邻域的任务标签与被试组成;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将跨模态双向蒸馏与模态内邻域聚合结合的自监督表征机制,但具体性能优势及其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net