跳到正文
OpenReview · State space models· Zhengang Li; Yan Kang; Yuchen Liu; Difan Liu; Tobias Hinz; Feng Liu; Yanzhi Wang·· 2024-01-01精选AI 评分73

SNED:面向高效视频扩散模型的叠加网络架构搜索

SNED: Superposition Network Architecture Search for Efficient Video Diffusion Model

AI 导读

基于摘要分析。本文研究视频扩散模型训练与推理计算开销较高的问题,提出叠加网络架构搜索方法 SNED,通过权重共享的超网训练覆盖不同模型成本与分辨率选项,以支持多种计算预算下的视频生成。 核心机制是让不同模型选项共享超网权重,并引入超网训练采样预热(supernet training sampling warm-up)以加快训练优化。摘要未说明具体搜索空间、子网采样策略、预热调度、搜索目标或模型选取流程,不能据此推断其具体网络结构与损失形式。 作者报告在 pixel-space 与 latent-space 视频扩散模型上开展实验,不同模型选项能够以较高效率获得可比结果。其中,在 pixel-space 视频扩散模型实验中,作者报告同一框架可同时覆盖 64 × 64 至 256 × 256 的生成分辨率,以及 640M 至 1.6B 参数的模型规模,并保持一致的视频生成结果。摘要未提供质量指标、训练及推理耗时、硬件条件或对照基线,因此尚不能量化效率提升,也不能将“可比结果”解释为已证实优于独立训练模型。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可供 EEG 研究考察的是多计算预算模型的共享训练机制,而非已验证的神经信号生成或解码能力。迁移假设是,面向不同部署预算的 EEG 模型也可能通过超网减少重复训练;但需重新定义适合时序信号的搜索空间,视频分辨率选项不能直接等同于 EEG 通道数或采样率。低信噪比、跨被试差异与小数据条件可能导致共享权重对不同子模型产生不均衡影响。一个可证伪的小实验是在固定 EEG 数据划分和相同模型预算下,对比超网子模型与独立训练模型的任务指标及总训练成本。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其以权重共享超网联合覆盖多种参数规模与生成分辨率的训练机制,但效率收益、生成质量及其对 EEG/BCI 的适用性仍需核对全文或另行验证。

来源:OpenReview · State space models · openreview.net