跳到正文
OpenReview · State space models· Vincent Tao Hu; Stefan Andreas Baumann; Ming Gui; Olga Grebenkova; Pingchuan Ma; Johannes Schusterbauer; Björn Ommer·· 2024-06-18精选AI 评分74

ZigMa:一种 DiT 风格的 Zigzag Mamba 扩散模型

ZigMa: A DiT-style Zigzag Mamba Diffusion Model

AI 导读

基于摘要分析。该研究面向视觉数据生成,针对基于 Transformer 的扩散模型在扩展性与二次复杂度方面的问题,利用状态空间模型 Mamba 的长序列建模能力,提出关注空间连续性的 Zigzag Mamba 扫描方法,并将其与 Stochastic Interpolant 框架结合以探索高分辨率视觉生成。 核心机制是将视觉数据组织为适合 Mamba 处理的序列。作者认为,现有多数基于 Mamba 的视觉方法未充分考虑扫描顺序中的空间连续性,并将 Zigzag Mamba 描述为简单、即插即用、零参数的方法。这里的“零参数”指所提出的扫描方法,不能理解为完整生成模型没有可训练参数;具体扫描路径、模型结构、训练目标与推理设置尚未验证。 作者报告,Zigzag Mamba 优于基于 Mamba 的对照方法,并相较基于 Transformer 的对照改善速度与内存利用。摘要列出 FacesHQ 1024×1024、UCF101、MultiModal-CelebA-HQ 和 MS COCO 256×256 等视觉数据集,但未提供具体生成质量指标、运行时间、显存数值或各数据集的评估协议,因此不能量化优势或判断质量与效率之间的权衡。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 生成或掩码建模任务需要将时间—通道数据序列化,扫描顺序对邻近关系的保留可能是可检验的机制假设。可复用的是扫描顺序设计思路,需改造的是 EEG 通道拓扑、时间方向与任务目标的对应关系;视觉像素邻接并不等价于电极间关系,低信噪比、跨被试差异、通道配置变化及小数据训练均可能使收益失效。小规模验证可在固定被试内数据划分、相同 Mamba 骨干和训练预算下,对比普通展平与依据时间—通道邻接设计的扫描,分别检查重建误差、运行时间及显存。该实验属于迁移假设,不是论文已验证结论;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其保持空间连续性的扫描机制及速度、显存对照,尤其需要区分零参数扫描改造的收益与完整生成模型的收益;其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net