跳到正文
OpenReview · Representation learning· Dino Ienco; Cássio Fraga Dantas·· 2024-01-01精选AI 评分72

DisCoM-KD:通过表征解耦与对抗学习进行跨模态知识蒸馏

DisCoM-KD: Cross-Modal Knowledge Distillation via Disentanglement Representation and Adversarial Learning

AI 导读

基于摘要分析。本文研究训练与测试阶段模态集合不一致时的跨模态知识蒸馏(CMKD),提出 DisCoM-KD,通过表征解耦与对抗式域适应,将多模态训练信息迁移到单模态分类器,而不依赖传统的多模态教师与独立学生训练流程。 核心机制是针对下游任务,显式提取每种模态中的域不变、域信息性及域无关特征。与先训练多模态教师、再分别蒸馏单模态学生的范式不同,DisCoM-KD 同时学习所有单模态分类器,无需另行训练教师分类器或逐一训练学生。摘要未给出各类特征的具体定义、解耦约束、对抗目标及损失组合,尚不能判断其实现细节或训练成本。 作者报告,在三个标准多模态基准上,与近期知识蒸馏框架比较,DisCoM-KD 在涉及重叠与非重叠模态的模态不匹配场景中表现更优。摘要未提供基准名称、划分方式、评价指标或数值;实验协议、消融及统计信息尚未验证,因此不能量化优势或比较不同协议下的结果。 平台推测(待验证):若训练数据同时包含 EEG 与辅助模态、部署时仅保留 EEG,该机制可能用于缓解训练与推理阶段的模态差异。这一假设依赖可建立跨模态对应关系的训练样本及下游任务监督;可复用的是表征解耦与联合学习单模态分类器的思路,需改造各模态编码器及跨模态时间对应方式。低信噪比可能使共享表征学习到伪相关,过强对齐可能抹去 EEG 特有的判别信息,被试差异、通道变化与小数据也可能使对抗训练不稳定。可用同一组配对数据,在固定 Cross-subject 划分下比较仅 EEG 训练、传统教师—学生蒸馏与 DisCoM-KD,并移除解耦或对抗模块,检验仅 EEG 测试时的收益。上述迁移尚无本文证据支持,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以表征解耦和对抗式域适应替代传统教师—学生训练流程的跨模态知识迁移机制,但具体性能优势及其向 EEG 缺失模态场景的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net