跳到正文
OpenReview · State space models· Vincent Tao Hu; Stefan Andreas Baumann; Ming Gui; Olga Grebenkova; Pingchuan Ma; Johannes S. Fischer; Björn Ommer·· 2024-01-01精选AI 评分75

ZigMa:一种 DiT 风格的之字形 Mamba 扩散模型

ZigMa: A DiT-style Zigzag Mamba Diffusion Model

AI 导读

基于摘要分析。该研究面向视觉数据生成,针对 Transformer 扩散模型的扩展性与二次复杂度问题,引入状态空间模型 Mamba,并提出关注空间连续性的 Zigzag Mamba 扫描方案。其贡献是以 DiT 风格、可插拔且参数负担较小的设计组织视觉序列,并结合 Stochastic Interpolant 框架考察大分辨率视觉数据上的扩展性。 核心机制是视觉数据的序列化扫描:作者认为,多数既有 Mamba 视觉方法未充分考虑扫描路径的空间连续性,因此采用之字形路径及逐层异构扫描。作者报告,相比 Mamba 基线,该方法表现更优;相比 Transformer 基线,速度和内存利用有所改善,并声称增加扫描路径时不引入额外内存与速度负担。摘要未提供具体生成质量指标、计时条件、显存测量方式或基线配置,这些结论的适用范围尚需正文核对。 摘要列出 FacesHQ(1024×1024)、UCF101、MultiModal-CelebA-HQ 和 MS COCO(256×256)作为扩展性研究涉及的数据。各数据集的具体任务设置、划分、模型规模、训练预算、实验协议、消融及统计信息尚未验证,不能据此推断其在不同数据集上的量化优势。 平台推测(待验证):若 EEG 生成任务具有可信的通道空间邻接关系,空间连续扫描可能提供一种兼顾长时间序列建模与多通道组织的机制假设。可借鉴路径设计和逐层异构扫描,但需将图像网格改为电极拓扑与时间结构,并适配信号表示及生成目标。低信噪比、跨被试差异、不同通道配置和小数据规模可能削弱这种归纳偏置;视觉空间邻近也不等同于 EEG 功能关联。一个可证伪的小实验是在固定数据划分、模型容量与训练预算下,对比时间优先扫描、通道拓扑连续扫描及打乱拓扑扫描,检查信号生成质量与计算成本是否一致改善。已有 EEG 相关工作尚未检索确认,该假设不构成已证实的 BCI 效果。

阅读价值

值得核对其以空间连续扫描和逐层异构路径改造 Mamba 的机制,以及相对 Mamba、Transformer 基线的生成质量与效率权衡;其 EEG/BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net