跳到正文
arXiv · 多模态与生成机制· Gaurav Patel; Jun Fang; Greg Ver Steeg; Qiang Qiu; Sravan Sripada·· 2 天前精选AI 评分74

在少步蒸馏 Text-to-Image 扩散模型中实现偏好驱动的机器遗忘

Enabling Preference-driven Unlearning in Few-step Distilled Text-to-Image Diffusion Models

AI 导读

基于摘要分析。该研究针对少步蒸馏(few-step distilled,FSD)Text-to-Image 扩散模型中既有机器遗忘方法效果不佳的问题,提出与少步生成特性对齐的偏好驱动遗忘框架,旨在直接移除目标概念,同时保留快速推理和非目标生成能力。 机制上,作者指出,既有数据驱动遗忘目标隐含依赖多步去噪动态,而蒸馏后的少步生成过程改变了这一前提;基于噪声预测误差构建的标准 Direct Preference Optimization(DPO)及其遗忘变体,因此难以直接迁移到 FSD 模型。研究据此修改偏好优化表述,使其适配少步生成性质,而不是先对原始模型进行遗忘,再重新蒸馏。摘要未提供修改后的目标函数、偏好样本构造方式、训练步骤或具体蒸馏模型,不能据此判断实现细节及适用边界。 评估主要涉及身份与 NSFW(裸露)内容移除,并扩展到对象级遗忘。作者报告,在这些任务中获得一致、有效的目标遗忘及较强的非目标能力保留,同时维持少步生成效率。摘要未给出数据集、划分、对照基线、数值指标或计算成本,因此尚不能量化遗忘—保留权衡,也不能确认相较重新蒸馏流程的实际资源节省。实验协议、消融及统计信息尚未验证。 复现时需核对:偏好优化如何对应实际少步采样过程,遗忘与能力保留分别如何测量,以及效果对模型、采样步数和提示词变化的依赖。该材料研究的是图像生成模型的机器遗忘,未提供 EEG/BCI 验证;相关迁移价值仍待评估,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其针对 few-step distilled 模型生成动态重新设计偏好优化的思路;作者报告可直接实现概念遗忘并保留非目标能力,但具体目标函数、对照协议与效率收益尚需全文核对。

来源:arXiv · 多模态与生成机制 · arxiv.org