面向 3D 目标检测的表征差异感知蒸馏

基于摘要分析。本文研究紧凑 3D 目标检测器的知识蒸馏问题，提出 Representation Disparity-aware Distillation（RDD），以信息瓶颈（IB）视角缓解学生与教师之间的表征差异，缩小紧凑学生与过参数化教师的性能差距。 作者观察到，现成知识蒸馏方法主要在师生中间特征表征相近时有效；对于极紧凑 3D 检测器，点云固有的稀疏性与不规则性会加剧表征差异。RDD 针对师生对应候选区域，在特征与 logits 两个层面减小差异。摘要未给出信息瓶颈目标的具体形式、候选区域配对策略及训练流程，这些机制细节尚未验证。 作者报告，在 nuScenes 数据集上，使用 RDD 的 CP-Voxel-S 达到 57.1% mAP，并在 FLOPs 仅为教师模型的 42% 时超过教师性能。该数字对应 3D 目标检测评估，不能视为 EEG/BCI 证据；教师具体配置、数据划分、mAP 定义、对照结果、消融及统计信息尚未验证，FLOPs 比例也不能直接等同于实际延迟或能耗收益。 平台推测（待验证）：可迁移的假设是，压缩 EEG 解码器时，若师生中间表征差异较大，信息瓶颈导向的蒸馏可能比直接特征对齐更合适。原方法依赖点云候选区域配对及检测任务监督，迁移时需将对应单元改造为时间窗或时空片段，并重新定义特征与 logits 的对齐目标；EEG 低信噪比、通道差异及小样本可能使配对不稳定，或导致有效信息被过度压缩。可先在固定被试内划分与相同师生配置下，对比无蒸馏、常规蒸馏及经核实后改造的 RDD，检验收益是否随师生容量差异扩大而保持。已有 EEG 相关工作尚未检索确认。