跳到正文
OpenReview · State space models· Yixuan Pei; Zhiwu Qing; Shiwei Zhang; Xiang Wang; Yingya Zhang; Deli Zhao; Xueming Qian·· 2023-12-31精选AI 评分73

用于视频类别增量学习的时空提示

Space-time Prompting for Video Class-incremental Learning

AI 导读

基于摘要分析。本文研究视频类别增量学习(VCIL),提出时空提示方法 ST-Prompt,利用图像—语言预训练模型 CLIP 的知识,通过优化少量提示参数适配持续增加的视频类别,同时应对灾难性遗忘和图像模型时序感知不足的问题。 方法包含两类提示。任务特定提示由空间提示、时间提示和综合提示组成,作者将其用于准确识别任务,以缓解灾难性遗忘;任务无关提示维护全局共享提示池,通过帧间上下文交换为预训练图像模型补充时间感知能力。摘要未交代提示插入位置、任务识别的具体流程、损失函数及训练与推理时可用的信息,这些实现条件尚待全文核对。 作者报告,在三个标准基准上的实验优于已有 VCIL 方法,尤其在 HMDB51 的“1 × 25 stage”设置下取得 9.06% 的增益。摘要未明确该增益对应的指标、对照方法,以及其表示相对百分比还是百分点;阶段划分含义、其余基准、实验协议、消融及统计信息尚未验证,因此不能据此比较不同协议下的效果。 平台推测(待验证):可迁移假设是,将任务特定提示与共享时序适配分离,可能有助于 EEG 类别增量学习中的知识保持与新类别适配。但原方法依赖 CLIP 的图像—语言预训练表征和视频帧结构,不能直接视为 EEG 方法;迁移时需替换输入编码与预训练骨干,并重新定义适合 EEG 时间窗及通道结构的提示交互。低信噪比、跨被试差异和小样本可能使任务识别不稳,共享提示也可能出现负迁移。一个可证伪的小实验是在固定被试内类别增量划分、相同骨干和提示参数预算下,对照仅共享提示、仅任务特定提示与二者结合,检查旧类别性能保持及新类别学习是否同时改善。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 ST-Prompt 如何以任务特定多粒度提示与全局共享提示池分别处理遗忘和时序感知,但其增益口径、任务识别协议及向 EEG 迁移的可行性尚未验证。

来源:OpenReview · State space models · openreview.net