跳到正文
OpenReview · State space models· Alexey Kravets; Vinay P. Namboodiri·· 2025-01-20精选AI 评分72

通过文本—图像空间适配实现零样本 CLIP 类别遗忘

Zero-shot CLIP Class Forgetting via Text-image Space Adaptation

AI 导读

基于摘要分析。本文研究视觉—语言模型 CLIP 的类别遗忘问题,提出不使用任何视觉数据、通过适配共享视觉—文本空间实现零样本类别遗忘的方法,旨在降低重新训练或依赖合成数据微调的计算成本。 核心思路:摘要将已有方案描述为生成合成数据,并结合正则化损失微调视觉和文本编码器;本文则把干预对象转向 CLIP 的共享表示空间。其明确贡献是无需视觉数据的遗忘路径,但空间适配的具体参数化方式、训练目标、文本输入及编码器是否冻结均尚未验证,不能据此认定其完全无需训练或任何数据。 结果与证据:作者报告,该方法取得优于对照的结果,并在不同 CLIP 视觉编码器下表现出较强性能和“完全类别移除”。摘要未提供数据集、类别选择、对照配置、指标数值或“完全移除”的操作性定义,因此这一结论仍需结合原文评估协议核对,不能直接等同于相关知识被彻底删除或满足隐私合规要求。作者还探索了遗忘算法实际针对的对象及 CLIP 特征的性质,但摘要未披露具体发现。 复现关注点包括共享空间适配的实现、遗忘类别与保留类别的划分、保留类别性能、遗忘判据,以及相对合成数据方案的计算开销;实验协议、消融及统计信息尚未验证。研究对象是 CLIP 的视觉—语言类别遗忘,材料未提供 EEG/BCI 实验,也不足以建立具体迁移机制,不据此推断其 BCI 有效性。

阅读价值

值得核对其仅通过共享视觉—文本空间适配实现 CLIP 类别遗忘的机制,以及“完全移除”类别的评估定义和保留类别性能,判断其相对合成数据微调方案的效率与效果。

来源:OpenReview · State space models · openreview.net