Dancing Diffusion:学习用于图像生成与编辑的连续程序
Dancing Diffusion: Learning Continuous Programs for Image Generation and Editing
基于摘要分析。Dancing Diffusion 研究图像扩散模型的去噪轨迹如何从统一指令控制转为可逐段寻址的操作序列,提出以连续条件块组成潜在程序,使已执行的生成历史得以保留,并可重定向后续生成过程。其主要研究对象是图像生成与编辑,而非 EEG 或 BCI。 机制上,方法为不同时间步区间分配专用的连续条件块,由编译器将文本特征映射为程序,再由固定的预训练生成器依次执行。共享前缀只需执行一次即可复用,后续操作可被改写,以保留先前操作已确定的内容。编译器通过生成图像获得训练反馈,反馈同时涉及所要求的修改与应保留的内容;具体损失形式、监督来源及训练规模尚未验证。 作者报告,在 SANA 上,相近编辑强度下复用已执行前缀,比从噪声重新生成保留更多场景内容;从同一保存状态出发,学习得到的条件比原生提示切换保留更多背景;学习得到的程序还改善了相对于原生 SANA 的生成质量。摘要未提供数据集、评估指标或数值,因而尚不能判断改善幅度及适用范围,也不能将这些对照合并为同一协议下的结论。 作者同时指出,越晚产生分支,编辑效果越弱,说明对单个操作的语义控制仍有限。复现时需核对时间区间划分、保存状态与前缀复用方式、编辑强度匹配标准,以及内容保留与修改达成度的评估方法;实验协议、消融及统计信息尚未验证。材料未给出与神经信号处理的具体机制对应,不据此推断 EEG/BCI 有效性;相关工作尚未检索确认。
值得核对其连续条件程序能否在相近编辑强度下改善内容保留,以及共享前缀复用与条件学习各自的贡献;摘要同时披露了较晚分支会削弱编辑的控制局限。
来源:arXiv · 多模态与生成机制 · arxiv.org