融合自回归与双向视频扩散的统一生成式视频压缩
Unified Generative Video Compression with Autoregressive and Bidirectional Video Diffusion
基于摘要分析。本文研究超低码率生成式视频压缩中重建质量与解码延迟的权衡,提出 UniGVC,使同一码流支持面向实时播放的自回归(AR)解码与面向高质量回放的双向(BI)解码。研究对象是视频压缩与重建,并非 EEG 或 BCI 信号建模。 核心机制是共享分层潜变量编解码器,以递归方式生成两条解码路径使用的相同条件信息。UniGVC-BI 采用具有密集注意力的 BI-DiT,服务于质量优先的随机访问解码;UniGVC-AR 采用窗口化 AR-DiT,支持低延迟流式解码。共享条件使 UniGVC-BI 能作为条件教师,对 UniGVC-AR 进行单步蒸馏;另以小型条件视频解码器进一步降低流式解码延迟。摘要未披露具体损失函数、训练数据与蒸馏流程。 作者报告,在标准 1080p 基准上,UniGVC-BI 在所评估方法中取得最佳整体率失真感知权衡,并能在低至 0.0005 bits per pixel 的码率下生成时间上稳定的视频;但摘要未给出基准名称、具体指标及对照结果。作者报告,UniGVC-AR 在保持竞争力的同时,以 36.85 FPS 解码 1080p 视频,速度超过 UniGVC-BI 的 250 倍。该速度比较的硬件、序列长度、计时范围与其他运行条件尚未验证,不能直接视为不同部署环境下的速度保证。 复现时需核对码率核算方式、质量与感知指标、随机访问设置、流式延迟定义,以及共享编解码器、单步蒸馏和小型解码器各自的贡献。实验协议、消融及统计信息尚未验证。作者表示代码与模型将于之后发布,当前材料不足以确认可获取状态;摘要也未提供可直接对应 EEG/BCI 的机制或验证证据,因此不据此提出迁移有效性结论。
值得关注其以共享码流兼容低延迟流式解码与高质量回放、并通过条件教师蒸馏连接两条解码路径的设计,但具体率失真感知收益与速度测试条件尚需全文核对。
来源:arXiv · 多模态与生成机制 · arxiv.org