ResDiff:结合 CNN 与扩散模型的图像超分辨率方法
ResDiff: Combining CNN and Diffusion Model for Image Super-Resolution
基于摘要分析。ResDiff 针对单幅图像超分辨率(SISR),将 CNN 的低频内容重建能力与 Diffusion Probabilistic Model(DPM)的残差生成能力结合,旨在避免由扩散模型直接承担完整高分辨率图像重建的开销。 核心机制是先由 CNN 生成初始重建图像,再由 DPM 预测真实高分辨率图像与该预测图像之间的残差。与直接利用低分辨率图像引导噪声向高分辨率图像空间生成的方法相比,ResDiff 利用 CNN 初始预测,将扩散生成目标转向残差空间。作者还为 CNN 引入频域损失,并设计频域引导的扩散过程,以促进高频细节预测;具体损失形式、条件注入方式及训练和采样流程尚未验证。 作者报告,在多个基准数据集的实验中,ResDiff 相较既有扩散方法具有更短的模型收敛时间、更好的生成质量和更多样的样本。摘要未提供数据集名称、划分、对照配置或量化指标,因而不能判断优势幅度,也不能将收敛时间缩短等同于推理加速;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其“确定性粗重建+随机残差生成”机制可能为 EEG 重建提供思路,但原任务依赖低分辨率图像与真实高分辨率图像之间的配对监督,不能直接套用于神经信号。若用于 EEG,需要将图像 CNN 和频域引导改造为适应时间、频率与通道结构的模块,并明确配对目标如何获得。主要风险是低信噪比下把噪声或伪迹生成为高频细节,以及跨被试、通道变化和小数据条件下的不稳定。一个可证伪的小实验是在按被试隔离的 EEG 数据上构造配对降采样任务,对照 CNN 单独重建与 CNN+残差扩散,检验后者是否在保持 ERP 波形或频谱特征的同时改善重建,而非仅生成视觉上合理的信号。相关 EEG 工作尚未检索确认。
其将低频重建交由 CNN、将残差细节生成交由 DPM 的任务分解值得核对,但摘要中的收敛与质量优势尚需结合完整实验协议验证,不能据此认定其适用于 EEG。
来源:OpenReview · State space models · openreview.net