通过 Bures-Wasserstein 优化在潜在空间中学习持续生成
Learning to Generate Continually in Latent Space via Bures-Wasserstein Optimization
基于摘要分析。本文研究图像生成模型的持续学习:在学习新域时保留旧域生成能力,避免从头训练的计算成本。作者提出 Latent Bures-Wasserstein(LaBW)框架,将抗遗忘约束的作用位置从模型参数转向自编码器的潜在空间,并以理论分析关联潜在分布变化与生成图像的 FID。 核心机制方面,既有方法通常结合生成式回放或蒸馏与 elastic weight consolidation(EWC)等参数正则化。作者认为,这类正则化在像素空间 diffusion 中有效的相关假设,不能良好推广至 flow matching 等潜在生成过程。LaBW 则在自编码器潜在空间中操作,间接优化 Inception 特征空间中的生成图像分布。作者的理论分析建立了潜在端点分布扰动与 FID 变化的局部联系,并指出:对于幅度相同的绝对协方差变化,低方差潜在方向具有更高敏感性。该结论的局部性质需要保留,不能据此推断任意分布变化下的全局保证;具体目标函数、优化步骤及理论假设尚未验证。 实验方面,作者报告在采用 U-Net 和 DiT 骨干的 diffusion 与 flow matching 模型上开展评估,涉及 CIFAR-10、LSUN Churches 和 CelebA-HQ 等基准。作者报告,相较近期先进方法,LaBW 显著减少遗忘,同时保持或改善原域与新域的 FID。摘要未提供具体数值、域序列、数据划分、对照方法名称或计算开销,因此尚不能量化增益,也不能直接比较不同协议下的结果;实验协议、消融及统计信息尚未验证。 本文的主要贡献属于潜在图像生成模型的持续学习,而非 EEG 解码或 BCI 验证。现有材料不足以建立从 Inception 特征空间中的 FID 优化到神经信号任务的具体对应关系,故不据此提出 BCI 迁移效果或复现实验建议。复现前需取得全文,核对潜在分布的估计方式、旧域信息的保存条件、是否使用回放,以及低方差方向敏感性的数值稳定性。
值得核对其潜在端点分布扰动与 FID 变化的局部联系,以及分布层面优化相对参数正则化的抗遗忘效果;具体优化实现与实验协议尚未验证。
来源:OpenReview · State space models · openreview.net