跳到正文
OpenReview · Representation learning· Samuel Simko; Rishit Dagli; Bernhard Schölkopf·· 16 天前精选AI 评分78

用于扩散模型鲁棒概念擦除的对比表征学习

Contrastive Representation Learning for Robust Concept Erasure in Diffusion Models

AI 导读

基于摘要分析。本文研究预训练文本到图像扩散模型的概念擦除:在移除不需要或不安全概念的同时,保留其他生成能力。作者提出 CIRCE(Contrastive Image-Representation Concept Erasure),直接对去噪器内部表征施加对比目标,并主张以概念能否在对抗攻击下重新出现来评价擦除效果,而不只检查普通提示下的表现。 机制上,CIRCE 将目标概念的表征推离冻结模型中的对应表征,并拉向批次内共享锚点,同时保持良性概念的表征。该设计针对的是普通提示下受到抑制的概念仍可能被对抗提示或优化后的条件嵌入重新诱发的问题;具体表征位置、锚点构造、损失形式与训练参数尚未验证。 作者报告,在 UnlearnCanvas 上,CIRCE 的平均表现优于所比较的十种已发表防御方法,但摘要未给出该均值的具体指标定义与数值。在 Stable Diffusion 1.4 的裸体概念擦除任务中,作者报告其在七种攻击下取得最低的最坏情形攻击成功率;其中连续概念反演攻击下的攻击成功率为 0.138,次优方法为 0.225,同时在完成擦除的模型中,保留能力质量的 Elo 排名第二。这些结果限定于摘要所述任务与攻击评估,不能外推为任意概念或攻击下的可靠擦除。 作者报告的消融结果表明,鲁棒性主要来自以目标概念图像支撑遗忘集,而非强化仅基于 token 的表示坍缩。其结论依赖遗忘数据对目标能力的覆盖程度。实验协议、数据划分、对照配置、消融细节及统计信息尚未验证;代码与复现条件亦未由所给材料确认。该研究的直接对象是图像生成模型,摘要未提供 EEG 或 BCI 有效性的证据。

阅读价值

值得核对的是 CIRCE 将概念擦除的评估从普通提示扩展到对抗攻击,并通过消融区分概念图像支撑与仅基于 token 的表示坍缩对鲁棒性的贡献;其有效性仍需结合遗忘数据覆盖范围与生成质量保持情况判断。

来源:OpenReview · Representation learning · openreview.net