跳到正文
OpenReview · Representation learning· Youngeun Kim; Jun Fang; Qin ZHANG; Zhaowei Cai; Yantao Shen; Rahul Duggal; Dripta S. Raychaudhuri; Zhuowen Tu; Yifan Xing; Onkar Dabeer·· 2024-11-03精选AI 评分74

开放世界动态提示与持续视觉表征学习

Open-World Dynamic Prompt and Continual Visual Representation Learning

AI 导读

基于摘要分析。本文研究动态开放世界中的持续视觉表征学习,重点是在类别不断变化的数据流中,提升模型对未见测试类别的泛化能力。作者提出新的持续学习设定及 Dynamic Prompt and Representation Learner(DPaRL),将动态提示生成与判别性表征学习联合更新。 在该设定中,后续数据流引入的新类别与此前训练阶段的类别不相交,并且仍与未见测试类别相区分。因此,研究目标不是仅记住陆续出现的训练类别,而是学习能够支持未见类别图像检索的表征。摘要未提供具体数据集、阶段划分及测试类别构造细节。 机制上,DPaRL 在推理时生成动态提示,而不是依赖既有 Prompt-based CL(PCL)方法使用的静态提示池;同时,每个训练阶段共同学习提示生成与判别性表征,而非仅持续优化提示。提示生成的输入、生成器结构、可训练参数范围、损失形式及抗遗忘机制尚未验证。 作者报告,在开放世界图像检索基准上,相较所比较的 SOTA 方法,Recall@1 平均提升 4.7%;摘要未明确该数值是相对增幅还是百分点差值,也未列出各基准结果和平均方式,不能进一步换算。具体对照、实验协议、消融及统计信息尚未验证。 平台推测(待验证):动态提示与表征联合适应可能为 EEG 持续表征学习提供候选机制,但依赖足以学习稳定表征的数据及训练目标,不能直接视作 BCI 效果。若用于 EEG,需改造输入编码与提示接口,并明确新类别、被试变化和会话变化之间的区别;低信噪比、小样本及通道不一致可能使联合更新放大遗忘。一个可证伪的小实验是在固定 EEG 类别流及独立未见测试类别协议下,比较静态提示池与动态提示,并分别冻结或更新表征,以检验增益来自哪一部分。相关 EEG 工作尚未检索确认。

阅读价值

值得关注的是 DPaRL 将动态提示生成与判别性表征的持续更新结合,用于向未见测试类别泛化;其相对静态提示池的贡献仍需结合全文实验协议与消融核对。

来源:OpenReview · Representation learning · openreview.net