跳到正文
arXiv · 多模态与生成机制· Ziyi Fang; Jingzhi Li; Xiaojun Jia; Xingxing Wei; Wenqi Ren; Haijun Zhang·· 1 天前精选AI 评分77

SaTPO:通过转移偏好优化实现文生图安全对齐

SaTPO: Text-to-Image Safety Alignment via Transition Preference Optimization

AI 导读

基于摘要分析。该研究针对文生图扩散模型的安全对齐问题,提出 Safety Transition Preference Optimization(SaTPO):将偏好优化施加于逐步去噪转移,而非仅依据最终图像进行优化,旨在抑制有害内容的同时保留正常生成能力。 其核心机制是将不安全提示及其安全改写,在共享父状态与同一噪声实现的条件下构造成紧密配对的偏好样本。作者认为,最终图像偏好会把多维生成因素压缩为粗粒度信号,而固定相同父状态可排除历史轨迹分歧,使安全调整聚焦于增量转移,并保留任务相关语义。方法还引入多尺度漂移约束与良性样本重放,以限制行为偏移;具体损失形式、尺度定义及重放策略尚未验证。作者另构建 CoProPV 数据集,摘要称其对比关系经过视觉核验,数据规模与核验流程尚未验证。 作者报告,在 Inappropriate Image Prompts 上,以 PerspectiveVision 检测不安全内容、以 AlignGuard 为对照时,Stable Diffusion v1.5 的不安全检出率由 12.70% 降至 6.00%,SDXL 由 15.04% 降至 9.30%。作者同时报告,两种模型的 FID 分别由 32.28 降至 25.95、由 36.50 降至 27.51;摘要未明确 FID 使用的样本集及计算协议,因此其适用背景仍需核对。 阅读与复现时,应重点核对安全改写如何生成、共享状态配对如何采样,以及转移偏好、多尺度约束和良性重放各自的贡献。实验协议、消融及统计信息尚未验证。该研究的主要对象是文生图安全对齐,现有材料不足以建立其与 EEG/BCI 的具体迁移路径,不应据此推断神经信号任务收益。

阅读价值

值得核对的是共享父状态与噪声的逐步偏好配对能否将安全调整限制在局部去噪转移,以及其相对最终图像偏好优化的收益;摘要提供了安全性与生成质量结果,但具体归因仍待全文验证。

来源:arXiv · 多模态与生成机制 · arxiv.org