基于 CLIP 的类别增量学习：自适应表征调整与参数融合

基于摘要分析。该研究面向视觉—语言预训练模型 CLIP 的类别增量学习，关注模型适应不断增加的新类别时对旧类别的遗忘，提出 Adaptive Representation Adjustment and Parameter Fusion（RAPF），结合训练中的表征调整与训练后的参数融合。 摘要指出，冻结参数的 CLIP 已具备较好的泛化能力，但直接微调以适应下游任务会产生严重遗忘。作者认为，现有不少方法将新知识学习对旧类别的遗忘视为均匀影响；RAPF 则在新数据训练期间衡量新类别对旧类别的影响，并利用文本特征调整表征。训练结束后，方法采用分解式参数融合，进一步缓解 adapter 模块微调引起的遗忘。具体影响度量、表征调整目标、参数分解方式与融合规则尚未验证。 作者报告，RAPF 在多个常用基准上取得领先结果，但摘要未提供基准名称、类别增量划分、对照方法、指标或数值，尚不能核对优势幅度及适用条件。实验协议、消融及统计信息尚未验证。摘要提供了代码地址，但实现细节与复现条件尚未核验。 平台推测（待验证）：可迁移的机制假设是，新增类别对旧类别的干扰并不均匀，因而可在 EEG 类别增量学习中按类别调整表征，并结合参数融合控制遗忘。原方法依赖 CLIP 的视觉—语言预训练表征及文本特征；其训练规模、旧类数据访问条件尚未明确。迁移时需将视觉表征替换或对齐为 EEG 表征，并验证任务文本是否具有足够区分力，不能直接假定文本语义能刻画 EEG 类别关系。低信噪比、被试差异、通道变化及小样本可能使干扰估计不稳定。一个可证伪的小实验是在固定被试内划分与旧类数据访问条件下，比较 adapter 微调、加入表征调整、加入参数融合及二者结合，分别评估旧类与新类表现。相关 EEG 工作尚未检索确认。