跳到正文
OpenReview · Representation learning· Ho Man Kwan; Ge Gao; Fan Zhang; Andrew Gower; David Bull·· 2024-01-01精选AI 评分78

NVRC:神经视频表示压缩

NVRC: Neural Video Representation Compression

AI 导读

基于摘要分析。本文研究基于隐式神经表示(INR)的视频压缩:针对单个视频序列训练神经网络使其过拟合,再压缩网络参数以表示视频内容。NVRC 将改进重点从表示架构转向表示本身的压缩,提出熵编码与量化模型,并通过分层编码控制附加参数的码率开销。 核心机制:传统 INR 视频编码需要同时考虑视频重建质量与网络参数的存储成本。NVRC 将量化和熵编码纳入优化;作者声称,该框架首次使 INR 视频编码器能够以完全端到端方式优化。为降低熵模型自身引入的额外码率,框架还对网络、量化模型及熵模型的全部参数进行分层编码。摘要未提供具体熵分布、量化规则、目标函数或分层依赖结构,相关实现尚未验证。 结果:作者报告,在 UVG 数据集上,以 PSNR 衡量重建质量、以 VVC VTM 的 Random Access 配置为对照时,NVRC 获得平均 24% 的编码收益。该数字不能解读为 PSNR 提升 24%;具体码率节省计算方式、质量区间、序列汇总方式及编码配置需查阅全文。作者另称优于多种传统与学习式基准编码器,但摘要未列出完整对照结果。 复现与边界:摘要仅表示实现将发布,不能据此认定代码已经公开。实验协议、消融及统计信息尚未验证,逐视频训练成本、解码速度和参数开销的具体计量方式也需核对。研究对象是视频编码,当前材料不支持将其结果视为 EEG 或 BCI 压缩有效性的证据。

阅读价值

值得关注其将量化、熵编码及模型参数开销纳入 INR 视频压缩优化的机制;作者报告了相对 VVC VTM 的编码收益,但具体率失真计算与复现条件尚待全文核对。

来源:OpenReview · Representation learning · openreview.net