FreSca:揭示扩散模型中的缩放空间
FreSca: Unveiling the Scaling Space in Diffusion Models
基于摘要分析。本文研究 latent diffusion models(LDMs)中全局结构与精细细节难以独立控制的问题,提出即插即用框架 FreSca,通过分别缩放引导信号的低频与高频成分,为生成过程增加频率维度的控制。 机制上,作者分析了像素空间、VAE 潜空间及 LDM 内部表示的频率特性,并认为每个去噪步骤 t 中由 classifier-free guidance 得到的“噪声差分”是具有丰富语义、适合操作的目标。FreSca 将该差分分解为低频与高频成分,采用基于空间或能量的截断方式划分频段,再施加独立缩放因子。作者称该操作不需要重新训练模型或改变架构;具体频率变换、截断定义及缩放参数设置尚未验证。 作者报告,在 SD3、SDXL 等架构以及图像生成、图像编辑、深度估计和视频合成任务中,FreSca 能改善生成质量并增强结构表达。摘要未给出数据集、评估指标、对照配置或定量结果,因此不能判断不同任务的收益大小,也不能确认结构控制与细节保真之间的权衡。实验协议、消融及统计信息尚未验证,复现还需核对采样设置、引导强度与额外计算开销。 该工作的主要对象是视觉扩散模型,而非 EEG 或 BCI;这里的空间频率控制不能直接等同于 EEG 时间频段调节。现有材料不足以建立具体迁移机制,不据此推断 BCI 有效性;相关 EEG 工作尚未检索确认。
值得核对的是:在不重新训练的条件下,对 classifier-free guidance 的噪声差分进行分频缩放,能否稳定分离全局结构与局部细节控制;摘要尚不足以确认其收益幅度与适用边界。
来源:OpenReview · State space models · openreview.net