跳到正文
OpenReview · State space models· Yue Lu; Shizhou Zhang; De Cheng; Yinghui Xing; Nannan Wang; Peng Wang; Yanning Zhang·· 2024-01-01精选AI 评分78

面向持续学习的零空间视觉提示调优

Visual Prompt Tuning in Null Space for Continual Learning

AI 导读

基于摘要分析。本文研究视觉持续学习中的灾难性遗忘,提出沿既往任务特征所张成子空间的正交方向更新视觉提示,旨在学习新任务时减少对已学任务的干扰。研究对象是采用预训练 ViT 的视觉提示调优,并非 EEG 或 BCI。 机制上,作者指出,将传统 CNN 中的正交投影思路用于 ViT 提示梯度时,需要处理高阶、非线性的自注意力运算,以及 transformer 块中 LayerNorm 引起的提示分布漂移。作者报告推导了实现提示梯度正交投影的两个一致性条件,并据此提出基于零空间的近似求解方案。摘要未给出条件的具体表达式、近似误差或特征子空间的维护方式,因此尚不能确认理论保证如何对应实际近似实现。 作者报告,在四个类别增量学习基准及多种预训练基线模型上,该方法表现出抗遗忘效果,并优于所比较的先进方法。摘要未提供数据集名称、划分、具体指标与数值;实验协议、消融及统计信息尚未验证。摘要提供了代码仓库地址,但实现细节与复现条件尚未核查。 平台推测(待验证):若 EEG 任务采用具有可调提示的预训练 transformer,并按任务顺序持续更新,该机制可能用于限制新任务更新对既往表征的干扰。此假设依赖历史特征子空间具有稳定性,需改造 EEG 特征提取、提示接口及子空间维护模块;低信噪比、跨被试差异和通道变化可能使子空间估计不稳,或使正交约束限制新任务学习。可在固定通道与固定任务顺序的小规模 EEG 类别增量实验中,比较普通提示调优与零空间约束,分别评估旧任务保持和新任务学习能力。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读之处在于作者针对 ViT 自注意力与 LayerNorm 对提示梯度正交投影的影响提出一致性条件及零空间近似,可用于核对其抗遗忘保证的适用边界与实现代价,但 EEG/BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net