U-Shape Mamba:用于加速扩散模型的状态空间模型
U-shape mamba: State space model for faster diffusion
基于摘要分析。本文研究图像扩散模型的高计算成本问题,提出 U-Shape Mamba(USM),将 Mamba 层置于类似 U-Net 的层级结构中,通过编码端逐步缩短序列、解码端恢复序列来降低计算开销,保留图像生成能力。研究对象是图像合成,而非 EEG 或 BCI。 核心机制是把序列长度压缩与 Mamba 状态空间建模结合,使不同层级的计算不必始终处理完整长度的序列。摘要未说明图像序列化方式、缩短与恢复序列的具体操作、扩散训练目标及采样设置,这些细节尚未验证。 作者报告,在与 Mamba 扩散模型 Zigma 的比较中,USM 的 GFlops 为其三分之一,内存需求更低、运行更快,并取得更好的图像质量。作者报告,相对 Zigma,USM 在 AFHQ、CelebAHQ 和 COCO 上的 Frechet Inception Distance(FID,越低越好)分别改善 15.3、0.84 和 2.7 点。摘要未提供绝对 FID、数据划分、图像分辨率、模型规模、采样步数及运行硬件,因此这些数字只能作为所述比较中的结果,不能外推到其他配置;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将这一机制用于 EEG 扩散生成,假设层级序列压缩能降低长时间窗的计算成本,同时保留任务相关时序信息。可复用的是层级编码—解码与 Mamba 建模思路,需改造的是多通道输入表示、时间尺度处理及生成评估。低信噪比下,压缩可能丢失短暂神经活动;通道差异、跨被试变化与小数据训练也可能削弱收益。一个可检验的小实验是在固定 EEG 数据划分、训练预算和采样设置下,对比有无层级压缩的 Mamba 扩散实现,同时检查计算量、显存与时频统计保真度,而不预设下游解码会改善。已有 EEG 相关工作尚未检索确认。
值得核对 USM 的层级序列压缩是否能在同等图像生成评估条件下兼顾计算成本与 FID;其对 EEG 生成的适用性尚未验证。
来源:OpenReview · State space models · openreview.net