ReState:面向少步扩散模型免训练对象移除的噪声水平感知状态修正
ReState: Noise-Level-Aware State Correction for Training-Free Object Removal in Few-Step Diffusion Models
基于摘要分析。该研究针对少步蒸馏扩散模型的免训练图像对象移除:仅将自注意力从目标区域重定向,仍可能留下物体形状的残影。作者提出 ReState,依据噪声水平修正掩码区域内的干净预测,使其趋向从输入检索到的背景证据,同时保留排除目标对象的注意力约束,且不增加去噪器评估次数。 作者将残影归因于时间上的不匹配:首次前向计算时,掩码内已形成结构化预测,而少步生成轨迹缺少后续修正机会;注意力重定向则主要在较晚步骤起作用。作者报告,在四种蒸馏骨干上进行幅度匹配的单次前向干预时,背景导向的状态修正对最终结果的影响大于注意力重定向。ReState 的修正权重随噪声水平变化,并在最后一次前向计算时归零;背景证据的检索方式与权重函数尚需全文核对。 作者报告,在两个配对基准、两种少步骨干的评估中,ReState 的掩码区域 PSNR、SSIM 和 LPIPS 均优于所比较的免训练方法,相对最强基线的 PSNR 平均提高 3.17 dB。在 OBER-Test 上,作者报告其三项指标均优于采用 50 步的 attention-forcing 参考方法,且延迟低 6.7 倍;相同配置还可不经重新调参用于另外两种蒸馏骨干。摘要未给出其余基准名称、骨干名称、各项绝对指标及延迟测量条件,实验协议、消融及统计信息尚未验证。 该工作的主要对象是图像生成与编辑,不是 EEG 或 BCI。摘要未提供将背景证据修正机制对应到神经信号任务的具体路径,因此不能据此推断 BCI 有效性;已有 EEG 相关工作尚未检索确认。
值得核对其幅度匹配的单次前向干预能否支持“早期状态修正比后期注意力重定向更关键”的机制解释,以及该修正在不同少步蒸馏骨干上的免调参复用表现;现有证据限于摘要中的图像对象移除实验。
来源:arXiv · 多模态与生成机制 · arxiv.org