跳到正文
arXiv · 泛化与分布偏移· Eeham Khan; Abdulmoumen Al-Atrash; Ali Ayub·· 7 天前精选AI 评分76

用于高效少样本类别增量学习的选择性反向传播

Selective Backpropagation for Efficient Few-Shot Class-Incremental Learning

AI 导读

基于摘要分析。该研究针对 Few-Shot Class-Incremental Learning(FSCIL)中有限样本、计算和内存约束下的新类别学习与旧知识保留问题,提出 Selective Backpropagation(SBP),通过确定性参数预算限制可更新参数,在适应能力、遗忘控制和训练效率之间寻求平衡。 机制与对照:SBP 仅对预先分配的网络参数子集进行梯度更新;作者将其作用概括为冻结既有知识、为未来学习保留未受既往训练偏置影响的容量,并避免昂贵的掩码优化。摘要将其与易发生灾难性遗忘的直接微调、增加计算和内存开销的回放方法,以及冻结大部分骨干而限制适应性的无样本存储方法对照。参数如何分配、会话间如何调度、采用何种损失及是否结合其他知识保留机制,尚未验证。 结果与评估:作者报告,SBP 在标准 FSCIL 基准上表现较强,训练时间接近直接微调,并显著低于所比较的既有 SOTA 方法;摘要未提供具体指标、耗时、硬件或基线配置。作者还在跨域设置及包含 80 个会话的 ImageNet-1K 学习流上评估,报告 SBP 保持较强表现和较低训练成本,并指出短期、分布一致的基准表现未必能预测分布偏移或更长学习序列中的行为。各会话样本数、类别划分、预算公平性、消融及统计信息尚未验证。摘要提供了代码仓库,但实现与复现条件尚未核对。 平台推测(待验证):迁移假设是,预分配可更新容量可能帮助 EEG 少样本新类别学习减少旧类别遗忘。原方法依赖类别增量监督及可分配的网络容量;可复用参数冻结与预算管理机制,需改造 EEG 编码器和增量任务协议。低信噪比、小样本及被试或通道变化可能使容量分配失配,长序列也可能耗尽可更新容量。一个可证伪的小实验是在固定 EEG 编码器、样本预算与类别增量划分下,对比 SBP、直接微调和骨干冻结,记录新旧类别 Accuracy、遗忘与训练时间,再单独测试跨会话偏移。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其确定性参数预算能否兼顾少样本适应、知识保留与训练成本,以及跨域和长学习序列评估是否揭示标准 FSCIL 协议难以反映的退化。

来源:arXiv · 泛化与分布偏移 · arxiv.org