跳到正文
arXiv · 学习目标与优化· Khac Duc Giang Nguyen; Seyed Sahand Mohammadi Ziabari; Ali Mohammed Mansoor Alsahag·· 3 天前精选AI 评分72

序贯热红外反无人机检测中的灾难性遗忘:尺度条件下梯度失衡的作用

Catastrophic Forgetting in Sequential Thermal Anti-UAV Detection: The Role of Scale-Conditioned Gradient Imbalance

AI 导读

基于摘要分析。研究考察热红外反无人机检测器在数据集依次变化时的灾难性遗忘,并将目标尺度条件下的梯度失衡提出为候选机制;同时比较知识蒸馏与尺度分层回放的保留表现。 作者使用基于 YOLOv5 的 YOLOMG,关闭运动通道,仅保留单路热红外输入,依次在尺度难度递增的 Anti-UAV-RGBT、Anti-UAV410 和 CST Anti-UAV 上训练。作者报告,朴素微调至 CST 后,相对 Stage 1 性能上限的 Forgetting Measure(FM)为 -0.605,对应 90% 能力损失,其中 Stage 3 单阶段贡献为 -0.572。采用冻结教师进行知识蒸馏时,三个随机种子的 FM 为 -0.033 ± 0.004,对应 95% 保留率;由于没有 Stage 2 不使用知识蒸馏的对照,该结果支持蒸馏训练条件下的保留能力,而不能确立蒸馏的因果效果。 机制分析中,作者报告大目标检测在首个 epoch 内降至接近零,但参与梯度更新的权重在阶段间的余弦相似度仍为 0.987。这一现象提示整体权重相似并不保证各尺度能力稳定,支持进一步检验尺度条件下梯度失衡,而非将其视为已确证机制。Scale-Stratified Herding(SSH)采用按四个 UAV 尺度层均衡配置的 300 样本缓冲区,使 FM 从 -0.605 改善至 -0.311,并维持非零的大目标检测能力。作者报告,分层随机回放的 FM 为 -0.221,不弱于 SSH,提示收益主要来自尺度分层而非 herding;两项回放结果均为单随机种子,属于初步证据。 平台推测(待验证):该研究的可迁移部分是按数据子群诊断遗忘并进行均衡回放,而不是直接将目标尺度映射到 EEG。假设在跨会话 EEG 持续学习中存在可稳定定义、且与性能退化有关的数据子群,可改造分层依据与缓冲区采样策略,在相同样本预算下比较普通随机回放和分层随机回放,检验旧会话及各子群性能是否得到保留。低信噪比、被试差异与小数据可能使分层不稳定;已有 EEG 相关工作尚未检索确认。原论文的数据划分、检测指标、FM 定义、梯度诊断细节、其余消融及统计信息尚未验证。

阅读价值

值得阅读的是按目标尺度分析遗忘的诊断路径,以及分层随机回放不弱于 SSH 的初步对照;知识蒸馏结果仅支持该训练条件下的保留能力,回放结论仍需多随机种子复核。

来源:arXiv · 学习目标与优化 · arxiv.org