通过层级语义定位的语义手术实现文本到图像扩散模型中的组合概念擦除
Compositional Concept Erasure in Text-to-Image Diffusion Models via Hierarchically Grounded Semantic Surgery
基于摘要分析。本文研究文本到图像扩散模型中的组合概念擦除:目标概念可能通过相关类别而非原词被触发,目标的修饰属性也可能转移到应保留的对象上。作者提出无需训练的 Hierarchically Grounded Semantic Surgery(HGSS),同时改进文本侧擦除的目标定位与编辑操作,无需更新模型权重或增加可学习参数。 机制上,HGSS 首先通过 hierarchical span grounding,结合词汇、分类层级和语义证据定位应擦除的文本片段,并防范过于宽泛的上位词及复合词中心词引起的误匹配。随后,dynamic attribute binding 在去噪早期利用反事实参考和顾及保留对象的 cross-attention 目标细化文本条件,旨在维持剩余属性与名词之间的绑定。相较需要针对各目标重新训练的权重编辑方法,其特点是将修改置于推理过程;相较已有免训练方法,其重点是处理组合提示的语义路由失败。 作者报告,在 SEE 的评估中,HGSS 将 hierarchical evasion 从 29.54 降至 10.02,并使成对属性泄漏约减半;在所报告的擦除方法中,Neighbor E 和 AttrP 得分最佳。摘要未说明上述数值的单位、指标定义及具体评估划分,不能将其直接解释为百分比。在 UnlearnCanvas 上,作者报告 HGSS 的六项指标平均值略优于匹配的 Semantic Surgery 基线,并称达到 SOTA;具体分项结果与比较范围尚未验证。 需核对的内容包括反事实参考的构造方式、cross-attention 目标及推理优化细节、擦除与保留能力的权衡、计算开销,以及实验协议、消融及统计信息。本文主要研究对象是文本到图像生成模型,摘要未提供 EEG 或 BCI 实验,也未建立可直接迁移到神经信号任务的机制路径,因此不能据此推断 BCI 有效性;相关 EEG 工作尚未检索确认。
值得关注 HGSS 如何联合处理组合提示中的层级概念规避与属性泄漏,但其相对 Semantic Surgery 的收益及部署代价仍需结合完整评估协议核对。
来源:arXiv · 多模态与生成机制 · arxiv.org