跳到正文
arXiv · 多模态与生成机制· Boheng Li; Yueming Xing; Yiming Li; Jie Zhang; Tianwei Zhang·· 6 天前精选AI 评分78

LETHE:通过值向量多样性坍缩防御未经授权的图像到视频生成

LETHE: Defending against Unauthorized Image-to-Video Generation via Value Diversity Collapse

AI 导读

基于摘要分析。该研究针对图像到视频(I2V)扩散模型可能被用于将个人照片生成未经授权视频的问题,提出主动图像防护方法 LETHE:在图像发布前添加对抗扰动,干扰后续视频帧对参考图像的读取,使生成视频偏离原图或出现视觉损坏。 机制上,作者通过凸几何分析,将参考图像值向量的分散程度识别为影响读取过程的关键因素;作者报告,适度收缩这些向量的分散程度即可显著损害视频生成效果。LETHE 据此结合两个互补目标:value collapse objective 推动参考值向量趋于一致,attention attraction objective 则使后续帧更多关注这些已经坍缩的 token,以放大生成损坏。其方法重点是直接干扰参考信息的读取,而不只是笼统降低生成质量;具体损失形式、扰动优化流程与模型访问条件尚未验证。 作者构建了两个以人物为中心的 I2V 防护基准,并报告在多个现代 I2V 模型上的实验达到最先进的防护表现且具有多用性。摘要未提供基准名称、数据规模、扰动预算、评价指标、对照方法及具体结果,因此目前无法判断优势幅度,也不能据此确认其在未知模型或不同图像处理条件下的稳健性。实验协议、消融及统计信息尚未验证。 本文主要研究对象是生成式视觉模型的图像防滥用保护,并非 EEG 或 BCI 方法。现有材料未建立其机制与神经信号任务的具体对应关系,因此不据此推断 BCI 有效性或提出迁移复现实验。

阅读价值

值得关注其将参考图像读取机制与防护目标联系起来的凸几何分析,但作者报告的防护优势仍需结合扰动预算、基准协议及具体对照核验。

来源:arXiv · 多模态与生成机制 · arxiv.org