跳到正文
OpenReview · Representation learning· Lingyu Wu; Wenhao Yang; Lijun Zhang·· 2024-09-27精选AI 评分72

MetaAdapter:利用元学习实现小样本类别增量学习中的可扩展表征

MetaAdapter: Leveraging Meta-Learning for Expandable Representation in Few-Shot Class Incremental Learning

AI 导读

基于摘要分析。本文研究小样本类别增量学习(FSCIL):模型先在数据充足的离线基础阶段学习,再利用少量标注样本在线学习新类别,同时保留旧类别知识。MetaAdapter 将并行 adapters 与元学习结合,旨在改善冻结特征提取器或主要依赖基础阶段表征所带来的可塑性限制,并降低在线适应时的过拟合风险。 机制上,框架在基础阶段向带有预训练权重的网络插入并行 adapters,通过元学习将可泛化知识编码到这些模块中;随后利用充足的基础类别数据进一步训练 backbone,获得基础分类能力。每个在线阶段先用元训练得到的参数初始化 adapters,再针对新类别进行微调。其关键思路是学习适于小样本适应的模块初始化,而不是始终固定特征表示。具体损失、元任务构造、在线阶段的参数更新范围,以及旧类知识保持机制尚未验证。 作者报告,MetaAdapter 在 mini-ImageNet、CUB200 和 CIFAR100 的 FSCIL 评估中达到当时最先进性能;摘要未给出具体指标、数据划分、各阶段类别与样本配置或对照数值,因此无法判断增益大小及比较条件。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移假设是,将“元学习初始化的轻量适应模块”用于少量标注的新 EEG 类别学习,以缓解表征冻结与全量微调之间的矛盾。原方法依赖数据充足的基础类别及可用于元训练的任务结构;迁移时可复用 adapter 初始化与更新流程,但需改造 EEG backbone、元任务采样和分类输出。EEG 的低信噪比、被试差异、通道配置变化及基础数据不足,可能使初始化知识失效或加剧旧类遗忘。一个可检验的小实验是在固定被试内划分下,比较冻结 backbone、随机初始化 adapter 与元学习初始化 adapter,在相同新类标注预算下分别评估新类和旧类 Accuracy;该建议不代表已证实的 EEG 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其元学习初始化与在线 adapter 微调如何平衡新类适应和旧类保持,但摘要中的领先性能主张及向 EEG 增量分类迁移的有效性均尚未验证。

来源:OpenReview · Representation learning · openreview.net