IMD:基于模态间与模态内相互蒸馏的 3D 动作表征学习
IMD: 3D Action Representation Learning with Inter- and Intra-modal Mutual Distillation
基于摘要分析。该研究面向自监督 3D 人体动作表征学习,针对不同骨架模态互补信息利用不足,以及动作类别有限时相似样本对实例区分学习造成干扰的问题,提出 Inter- and Intra-modal Mutual Distillation(I²MD)框架,结合模态间与模态内的相互蒸馏。 跨模态部分采用 Cross-modal Mutual Distillation(CMD):不同于由预训练且固定的教师向学生单向传递知识,CMD 在预训练过程中持续更新知识,并在模态之间双向蒸馏。模态内部分采用 Intra-modal Mutual Distillation(IMD),通过 Dynamic Neighbors Aggregation(DNA)在每个模态中引入额外的聚类级判别分支,自适应聚合高度相关的邻近特征,形成局部聚类级对比,再通过两个分支间的相互蒸馏交换不同层级的知识。其核心思路是同时利用跨模态互补信息与相似实例的局部上下文,而不只依赖自增强样本的区分。 作者报告在三个数据集上的广泛实验取得一系列新纪录,但摘要未提供数据集名称、具体指标、划分协议、对照基线及数值,无法据此判断优势幅度或适用边界。具体骨架模态、蒸馏目标、邻域构建与更新方式,以及实验协议、消融及统计信息尚未验证。 平台推测(待验证):可检验的迁移假设是,在具有可配对互补视图的 EEG 数据上,动态双向蒸馏与邻域聚合可能有助于缓解实例区分对相似脑状态的干扰;这不是原论文已验证的 BCI 结论。可复用的是相互蒸馏与聚类级知识交换思路,需改造视图构建和邻域选择。低信噪比、通道差异及被试差异可能使邻域主要反映噪声或个体特征,小数据还可能放大错误聚合。一个小规模检验是在固定 Cross-subject 划分和相同编码器下,对照仅实例级对比学习、加入 CMD、再加入 DNA 与 IMD 的版本,核对收益与邻域稳定性。已有 EEG 相关工作尚未检索确认。
值得关注其动态双向跨模态蒸馏与局部聚类层级蒸馏如何利用骨架模态互补性、缓解相似样本干扰,但摘要不足以核验性能优势及其对 EEG 的适用性。
来源:OpenReview · Representation learning · openreview.net