开放世界动态提示与持续视觉表征学习
Open-World Dynamic Prompt and Continual Visual Representation Learning
基于摘要分析。本文研究动态开放世界中的持续视觉表征学习,重点是在训练数据流不断引入新类别时,如何泛化到未见测试类别。作者提出新的持续学习设定及 Dynamic Prompt and Representation Learner(DPaRL),将动态提示生成与判别表征学习结合,用于开放世界图像检索。 任务设定中,后续数据流引入的类别与此前训练阶段类别不相交,同时也与未见测试类别不同。这一区分意味着评估关注的不只是保留已学类别知识,还包括持续训练后对未见类别的表征泛化。具体类别划分、阶段安排及测试数据使用方式尚未验证。 机制上,DPaRL 学习生成推理所需的动态提示,而不是依赖静态提示池;各训练阶段同时学习动态提示生成与判别表征。摘要将其与此前主要持续优化提示的 Prompt-based CL(PCL)方法作对照,但未提供提示生成器结构、损失函数、骨干更新范围或历史数据使用策略,相关实现需查阅全文。 作者报告,在开放世界图像检索基准上,DPaRL 相对所比较的先进方法,Recall@1 平均提升 4.7%。摘要未说明该数值是相对增幅还是百分点变化,也未列明基准名称、各基准结果及平均方式,因此不能进一步量化或跨协议比较;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 场景具有连续到达的训练数据和需要泛化的未见类别,动态提示与表征联合更新可作为候选机制,但图像检索结果不等于 EEG/BCI 有效性。迁移需要改造信号编码与提示接口,并明确未见类别的监督和检索目标;低信噪比、跨被试差异、通道变化及小样本可能使动态提示不稳定。可先在固定 EEG 编码器与相同类别划分下比较静态提示和动态提示,再检验联合更新表征的增益。已有 EEG 相关工作尚未检索确认。
值得核对其训练阶段类别与未见测试类别均不相交的开放世界评估设定,以及动态提示生成与判别表征联合学习相对静态提示池的作用;摘要结果仅支持图像检索场景,尚不能据此判断 BCI 迁移价值。
来源:OpenReview · Representation learning · openreview.net