跳到正文
OpenReview · State space models· Zhengang Li; Yan Kang; Yuchen Liu; Difan Liu; Tobias Hinz; Feng Liu; Yanzhi Wang·· 2024-01-01精选AI 评分73

SNED:面向高效视频扩散模型的叠加网络架构搜索

SNED: Superposition Network Architecture Search for Efficient Video Diffusion Model

AI 导读

基于摘要分析。本文研究视频扩散模型训练与推理计算需求较高的问题,提出 SNED(Superposition Network Architecture Search),通过权重共享的超网训练支持多种模型成本和生成分辨率配置,目标是在不同资源预算下维持视频生成质量。 核心机制是将不同模型配置纳入共享权重的超网训练,并引入超网训练采样预热(supernet training sampling warm-up)以加快训练优化。摘要未说明具体搜索空间、配置采样策略、预热调度、搜索准则及子网选择流程,因此尚不能判断各模块对效率和生成质量的独立贡献。 作者报告,在像素空间与潜在空间视频扩散模型上开展了实验,不同模型配置能够以较高效率获得可比的生成结果。其中,像素空间视频扩散模型实验覆盖 64×64 至 256×256 分辨率,以及 640M 至 1.6B 参数量范围;作者报告这些配置能够获得一致的视频生成结果。摘要未给出具体质量指标、比较基线、训练成本或推理延迟,不能将上述表述解释为已量化的加速或质量提升。数据集、实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的候选机制是以权重共享方式探索不同计算预算的模型,而非视频生成结果本身。若用于 EEG 模型压缩,需要将搜索空间与训练目标改为适配多通道时序信号和目标任务,并核对共享权重下的配置排序能否反映独立训练性能;低信噪比、跨被试差异及小数据条件可能使这一排序不稳定。一个可检验的小实验是在固定 EEG 数据划分和训练预算下,对比超网选出的少量配置与相同配置独立训练的任务性能、参数量及推理延迟。该假设不代表已证实的 BCI 效果,相关 EEG 工作尚未检索确认。

阅读价值

值得关注其通过权重共享超网联合覆盖模型规模与生成分辨率的效率优化思路,但摘要未提供具体质量指标与计算开销,尚不能据此判断效率收益或 EEG/BCI 适用性。

来源:OpenReview · State space models · openreview.net