利用跨模态知识蒸馏增强多模态表征学习

基于摘要分析。本文研究如何利用仅在训练阶段可用的辅助模态，通过跨模态 Knowledge Distillation（KD，知识蒸馏）增强多模态表征学习，主要评估任务为视频识别、视频检索与情绪分类，并非 EEG 或 BCI 任务。 作者指出，常见的互信息最大化目标可能产生“弱教师”捷径：教师退化至与学生相近的能力水平，仍可达到互信息最大化目标。为抑制该解，方法额外引入教师与辅助模态模型之间的互信息目标；同时最小化给定学生表征时教师表征的条件熵，以缩小师生信息差距。作者分别设计基于对比学习和对抗学习的训练方案，优化互信息与条件熵目标。具体目标公式、估计器与训练流程尚未验证。 作者报告，在三个多模态基准数据集上，该方法在上述任务中优于一系列先进方法。摘要未提供数据集名称、划分、指标、具体数值与基线名称，因此无法核对收益幅度及其适用条件；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：该机制可能适用于训练期具有配对 EEG 与辅助模态、部署期仅使用 EEG 的表征学习，前提是辅助模态提供与目标相关且可由 EEG 部分预测的信息。可复用师生蒸馏及信息约束思路，但需改造 EEG 编码器、跨模态时间对齐和配对采样；所需监督与数据规模尚不明确。低信噪比、被试差异、通道变化与小数据可能导致信息估计不稳，或迫使学生拟合辅助模态中无法由 EEG 恢复的信息。一个可检验的小实验是在固定跨被试划分、辅助模态仅用于训练的条件下，对比 EEG 单模态基线、常规跨模态 KD 及加入两项目标的版本，并核对教师自身任务表现是否保持。相关 EEG 工作尚未检索确认。