差异特征图蒸馏：迁移样本间关系知识以实现高效的基于 Transformer 的跟踪

基于摘要分析。研究针对自动驾驶感知中 Transformer 视觉目标跟踪器的计算与内存开销，提出 Difference Feature Map Knowledge Distillation（DFM-KD），通过迁移样本间特征差异所表达的关系知识，改善学生模型的跟踪表现，而非仅匹配教师与学生的绝对特征激活。 核心机制是对齐特征空间中的样本间关系结构。与通过均方误差等方式最小化逐点特征差异的常规蒸馏相比，DFM-KD 关注教师如何表达不同样本之间的外观变化与一致性，使学生学习批次内视觉变化的结构。摘要未给出差异特征图的具体构造、样本配对方式、损失公式、教师与学生配置及训练流程，这些细节尚未验证。 作者报告，在所开展的视觉目标跟踪实验中，DFM-KD 相较常规特征级蒸馏方法，在跟踪精度与成功率上持续取得更好结果。摘要未提供数据集、划分、具体基线或数值，因而无法判断提升幅度与适用范围；实际延迟、功耗和内存收益，以及实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移假设是，样本间特征关系可能比绝对激活匹配更适合 EEG 模型压缩。原方法依赖批次内样本差异与教师表征，但监督需求、数据规模及配对约束尚不明确。可考虑复用关系蒸馏思路，并将视觉特征图改造为 EEG 时序或时频表征；低信噪比、被试差异及通道配置差异可能使关系结构主要反映噪声或域差异，小数据下也可能不稳定。一个可检验的小实验是在固定教师、学生与 Cross-subject 划分下，对照不蒸馏、逐点特征蒸馏和差异关系蒸馏，比较相同任务指标与推理开销，并检查结果对批次组成的敏感性。已有 EEG 相关工作尚未检索确认。