跳到正文
OpenReview · State space models· Yuta Oshima; Shohei Taniguchi; Masahiro Suzuki; Yutaka Matsuo·· 2024-01-01精选AI 评分74

SSM 与视频扩散模型的结合:利用结构化状态空间实现高效视频生成

SSM Meets Video Diffusion Models: Efficient Video Generation with Structured State Spaces

AI 导读

基于摘要分析。本文研究长视频扩散生成中时间注意力随序列长度增加而产生的计算成本问题,提出使用状态空间模型(SSM)提取时间特征,并考察双向建模相较于传统单向 SSM 的作用。主要研究对象是视频生成,而非 EEG 或 BCI。 机制与对照:原方法针对时间注意力计算成本随序列长度呈二次增长的瓶颈,利用 SSM 的序列扩展特性构建时间特征提取器。作者报告,双向 SSM 不仅适用于既有图像生成研究中的空间特征理解,也有利于捕获视频时间特征。摘要未提供具体 SSM 实现、双向融合方式、扩散损失或训练配置,不能据此认定模型直接采用 Mamba。 实验与结果:作者报告,在包括 MineRL Navigate 在内的多个长视频数据集及不同模型规模上,对于最长 256 帧的序列,SSM 模型达到与注意力模型相同的 FVD 时所需显存更少;在相近 GPU 显存用量下,SSM 模型也经常取得更好的表现。摘要未给出具体 FVD、显存数值及完整比较协议,因此无法量化收益或判断其在各设置中的一致性。材料提供了代码仓库地址,但代码内容、实验协议、消融及统计信息尚未验证。 平台推测(待验证):可检验的假设是,双向 SSM 可能降低离线 EEG 长序列生成或重建中的时间建模开销;原论文的证据依赖视频帧序列及扩散生成任务,不能直接推广为 EEG 解码收益。可复用的是时间特征提取思路,输入表示、通道建模及训练目标仍需适配 EEG。低信噪比、跨被试差异、通道配置变化及小数据规模均可能使收益消失;双向机制也不能直接满足严格因果的在线 BCI 要求。一个小规模检验是在固定 EEG 数据划分、训练预算和生成或重建目标下,对比时间注意力、单向 SSM 与双向 SSM,观察序列加长时的显存变化及任务质量。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以双向 SSM 替代视频扩散模型时间注意力的机制,以及相同 FVD 和相近 GPU 显存两类条件下的比较;其对 EEG 长序列建模的适用性尚未验证。

来源:OpenReview · State space models · openreview.net