面向视频类别增量学习的条件时空提示分布学习
Learning Conditional Space-Time Prompt Distributions for Video Class-Incremental Learning
基于摘要分析。该研究面向视频类别增量学习,针对已有提示学习方法难以表达视频的多样特征、难以泛化到后续任务与类别的问题,提出利用扩散模型学习以输入视频为条件的时空提示分布,并将预训练图像 Transformer 的 token 关系建模能力迁移到视频时空建模。 核心机制是将提示表示为输入条件化的分布,而非仅学习固定提示,以生成方式容纳视频特征的多样性。摘要还提出一种图像到视频的关系建模迁移机制,但未说明条件信息如何编码、扩散过程与提示如何结合、训练目标、采样策略或时空关系的具体构造,这些实现细节尚未验证。 作者报告,在四个既有基准上评估后,相比已有最先进方法取得明显改进。摘要未提供基准名称、类别增量划分、对照方法、评价指标及数值,因此不能量化优势,也不能判断性能提升与遗忘控制、提示生成或迁移机制之间的独立关系。实验协议、消融及统计信息尚未验证;复现还需核对预训练骨干、旧类样本使用规则、任务身份信息及扩散采样成本。 平台推测(待验证):其可迁移假设是,输入条件化的提示分布可能用于适配 EEG 时序表征的异质性,并在类别增量场景中调节预训练编码器。可借鉴条件提示生成思路,但视频时空 token 关系不能直接等同于 EEG 通道与时间关系,需改造输入编码及通道结构。低信噪比、跨被试差异、通道变化与小样本可能使生成提示不稳定,且该机制本身不保证避免遗忘。一个可检验的小实验是在固定 EEG 编码器和一致类别增量划分下,对比固定提示与条件分布提示,同时评估旧类性能、新类性能及推理成本。已有 EEG 相关工作尚未检索确认,原论文的视频结果不构成 BCI 有效性证据。
值得核对其如何以输入条件化的扩散模型学习时空提示分布,以及如何将预训练图像 Transformer 的 token 关系建模迁移到视频;摘要中的性能优势尚需结合增量任务协议与具体基线验证。
来源:OpenReview · State space models · openreview.net