跳到正文
OpenReview · State space models· Carmelo Scribano; Danilo Pezzi; Giorgia Franchini; Marco Prato·· 2023-01-01精选AI 评分71

基于模型的潜在空间上的去噪扩散模型

Denoising Diffusion Models on Model-Based Latent Space

AI 导读

基于摘要分析。该研究的主要对象是图像生成:以传统有损图像压缩技术构建的模型式编码替代预训练自编码器的潜在编码,探索降低扩散生成的计算成本及潜在空间生成的适用边界。贡献还包括在离散空间内训练连续扩散模型的一种近似方案,以及面向类别值的生成模型改进。 技术机制:作者以潜在空间扩散为出发点,指出预训练自编码器可通过空间压缩和舍弃不可感知的图像细节降低生成建模难度;本文进一步改用基于传统压缩技术的编码方案。这里的“model-based”指编码方式,摘要并未说明采用何种状态空间模型,也未给出具体压缩算法、离散表示、近似公式、损失函数及类别值建模细节,因此不能据此还原实现。 证据与复现:作者报告在所研究问题上取得良好结果,并认为方法有望适用于图像之外的数据类型;摘要未提供可核对的指标、数据集、对照基线或资源测量条件。生成质量与计算开销之间的权衡、压缩失真影响、实验协议、消融及统计信息尚未验证。复现需取得全文,确认编码与解码流程、量化设置、扩散训练及采样方式,并在一致评估条件下比较质量和资源开销。 平台推测(待验证):若迁移至 EEG,可检验的假设是以适配时序信号的压缩及离散表示降低生成成本,而不是直接套用图像编码器。可能复用的是离散空间中的扩散训练思路,需要改造的是信号表示与失真约束;低信噪比、通道差异、跨被试变化及小数据可能使压缩误删任务相关信息。一个小实验是在固定被试内数据划分和生成模型预算下,比较原始表示与压缩表示的生成质量、任务信息保留及资源开销。该方案仅为迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是以传统有损图像压缩编码替代预训练自编码器、并在离散潜在空间中训练扩散模型的机制与计算收益,但摘要不足以验证生成质量、资源开销或 EEG 迁移价值。

来源:OpenReview · State space models · openreview.net