面向预训练模型类增量学习的表征引导式增量 Adapter 调优
Representation-Steered Incremental Adapter-Tuning for Class-Incremental Learning with Pre-Trained Models
基于摘要分析。本文研究预训练模型的类增量学习(Class-Incremental Learning,CIL),提出 Representation-Steered Incremental Adapter Tuning(RSIAT),旨在避免逐任务新增可训练参数,同时构建跨任务一致且具有判别性的表征空间。 方法在全部任务间维护一个共享 adapter。基础任务阶段引入表征引导损失,以增强特征判别性并支持后续任务适应;增量任务阶段使用基于残差自编码器的投影器,对齐新旧任务的特征分布,目标是在保持表征一致性的同时,避免对共享 adapter 施加过强约束。摘要未给出损失公式、投影器训练方式及旧任务信息的获取途径,这些机制细节尚未验证。 作者报告,在六个 CIL 基准上,RSIAT 的性能与参数效率优于所比较的现有先进方法,并取得更好的稳定性—可塑性权衡。摘要未列出基准名称、类别与任务划分、预训练模型、具体指标或数值,因此目前无法量化优势,也无法判断不同协议下的适用范围。实验协议、消融及统计信息尚未验证;尤其需核对投影器是否跨任务共享,以及参数统计是否覆盖全部组件。材料提供代码地址,但实现与复现条件尚未核验。 平台推测(待验证):共享 adapter 的持续更新与跨任务特征对齐,可能适用于 EEG 解码中类别逐步增加的场景,但原文并未提供 EEG 或 BCI 验证,已有 EEG 相关工作尚未检索确认。迁移假设依赖可用的 EEG 预训练表征和明确的类别增量监督,需要改造输入编码及基础模型接口;低信噪比、小样本和跨被试或通道变化可能使分布对齐混淆类别差异与采集差异。可在固定通道的被试内类别增量协议中,对比共享 adapter、加入表征引导损失、再加入投影器三个配置,检验旧类保持、新类学习及总可训练参数量,避免将跨被试变化与类别增量效应混为一谈。
值得核对的是共享 adapter 与残差自编码器投影器能否在不随任务增加参数的条件下兼顾旧类保持和新类适应;摘要中的性能与参数效率优势仍需结合完整实验协议验证。
来源:OpenReview · Representation learning · openreview.net