面向 3D 目标检测的表征差异感知蒸馏

基于摘要分析。本文研究点云 3D 目标检测中紧凑模型的知识蒸馏，提出 Representation Disparity-aware Distillation（RDD），以信息瓶颈（IB）视角处理教师与学生的中间表征差异，缩小紧凑学生与过参数化教师之间的性能差距。 作者认为，现成知识蒸馏方法主要在师生中间特征相近时有效；点云固有的稀疏性与不规则性，会使极紧凑学生与教师之间出现较大表征差异。RDD 针对师生候选区域对，在特征和 logits 层面减小差异。摘要未给出信息瓶颈的具体目标、区域配对方式或训练流程，不能据此确定其损失形式及实现细节。 作者报告，在 nuScenes 数据集上，采用 RDD 的 CP-Voxel-S 达到 57.1% mAP，超过教师性能，FLOPs 仅为教师的 42%。摘要未提供教师型号、教师原始 mAP、数据划分、计算量统计口径及各蒸馏基线结果，因此该结果应限定在作者所述设置内；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的假设是，若 EEG 紧凑学生因容量压缩而与教师产生表征差异，差异感知蒸馏可能比直接匹配特征更合适。可复用的是信息瓶颈导向的蒸馏思路；3D 候选区域配对则需改造为有明确对应关系的 EEG 时间窗或通道表征。其依赖的配对规则、监督信息与训练规模尚不明确，低信噪比、跨被试差异、通道不一致及小数据均可能使对齐失效。一个可证伪的小实验是：固定同一 EEG 任务的教师、学生及数据划分，对比常规蒸馏与该机制改造后的蒸馏，在不使用测试数据训练的前提下分别检查被试内与跨被试表现。已有 EEG 相关工作尚未检索确认。