跳到正文
arXiv · 多模态与生成机制· Tiange Xu; Kai Liu; Linghe Kong; Yulun Zhang·· 21 小时前精选AI 评分79

RECAP:面向高效视频扩散的互惠稀疏注意力与分层缓存

RECAP: Reciprocal Sparse Attention and Hierarchical Caching for Efficient Video Diffusion

AI 导读

基于摘要分析。本文研究视频扩散 Transformer 中稀疏注意力与时间缓存组合后的误差耦合问题,提出无需训练的 RECAP,以互惠校正和在线误差反馈协调两类加速机制。主要研究对象是视频生成推理效率,并非 EEG 解码或 BCI。 稀疏注意力减少单个去噪步骤内的计算,时间缓存减少跨步骤的重复计算;但稀疏预测一旦被缓存复用,其误差可能沿采样轨迹传播。作者报告,提高缓存源预测的准确性,可在不改变复用调度的情况下恢复保真度;相邻步骤的稀疏化误差还具有方向一致性,因此校正信息可能跨步骤共享。 RECAP 使用缓存的稠密细化信息,补偿当前稀疏估计中被省略的交互;同时利用新计算的稀疏统计量跟踪输入变化,调节随时间老化的校正信息。校正后的预测再更新整步预测复用所依赖的缓存源,使预测历史能够在两次稠密刷新之间继续更新。具体误差估计、反馈规则、缓存层级及刷新条件尚未验证。 作者报告,在多个视频扩散模型上与稀疏注意力、缓存及其直接组合方案进行了比较;其中,在 HunyuanVideo 的 720p、5 秒视频生成设置下,实现 3.05 倍加速,并在保真度和推理速度上优于所有受测直接组合方案。该加速数字的参照配置、硬件、采样步数、保真度指标及统计信息未在所给摘要中明确,需查阅正文核对。 平台推测(待验证):若 EEG 条件视频生成采用具有跨去噪步骤冗余的扩散 Transformer,该缓存与校正机制可能作为生成端推理加速组件;需要适配注意力稀疏模式、缓存刷新规则及条件信息保留方式。原文证据依赖视频扩散的迭代采样结构,并不支持其对 EEG 表征学习或解码有效。低信噪比、跨被试或通道差异可能改变条件敏感性,使速度收益伴随条件一致性下降。可在固定 EEG 条件生成模型与采样设置下,对照原始推理、直接组合和 RECAP,检验延迟与条件一致性是否同时保持;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以双向校正控制稀疏注意力与时间缓存耦合误差的机制,以及相对直接组合方案的速度—保真度权衡,但目前仅有摘要证据。

来源:arXiv · 多模态与生成机制 · arxiv.org