通过跨模态知识蒸馏增强多模态表征学习

基于摘要分析。本文研究如何利用仅在训练阶段可用的辅助模态，通过跨模态 Knowledge Distillation（KD，知识蒸馏）增强表征学习，主要贡献是针对教师退化与师生信息差提出额外优化目标及训练方案。原论文研究对象为通用多模态学习，摘要涉及 video recognition、video retrieval 和 emotion classification，并非直接验证 EEG/BCI 方法。 机制上，作者指出，常用的互信息最大化目标可能产生“弱教师”捷径：教师退化到与学生同样弱的表征，仍可达到互信息最大化。为抑制这一解，方法增加教师与辅助模态模型之间的互信息目标；为缩小师生信息差，进一步最小化给定学生表征时教师表征的条件熵。作者分别设计基于对比学习和对抗学习的训练方案来优化互信息与条件熵；具体估计器、损失权重及优化流程尚未验证。 作者报告，在三个多模态基准数据集上，该方法在上述任务中优于一组当时的先进方法。摘要未提供数据集名称、划分、指标及具体数值，实验协议、消融及统计信息尚未验证，因而无法判断各目标的独立贡献和收益适用范围。 平台推测（待验证）：若 EEG 任务具有训练期配对、推理期不可用的辅助模态，该机制可能用于辅助信息蒸馏，假设其能在不削弱教师的前提下改善 EEG 学生表征。可复用的是师生约束思路，需改造各模态编码器、时间对齐和配对采样；低信噪比、跨被试差异、通道变化及小样本可能使互信息估计或对抗训练不稳定。一个可检验的小实验是在固定跨被试划分下，比较 EEG-only 基线、常规跨模态 KD 与逐项加入两种约束的版本，推理均仅使用 EEG，并观察教师性能是否退化。相关 EEG 工作尚未检索确认。