跳到正文
OpenReview · Representation learning· Ho Man Kwan; Ge Gao; Fan Zhang; Andrew Gower; David Bull·· 2023-01-01精选AI 评分80

HiNeRV:基于分层编码神经表示的视频压缩

HiNeRV: Video Compression with Hierarchical Encoding based Neural Representation

AI 导读

基于摘要分析。本文研究隐式神经表示(INR)用于视频压缩时表示能力不足、率失真表现受限的问题,提出 HiNeRV,以轻量层和分层位置编码构建高容量视频表示,并配套训练、剪枝与量化流程。其主要研究对象是视频编码,而非 EEG 或 BCI。 机制上,HiNeRV 结合逐通道卷积、MLP 与插值层构建深而宽的网络,并在同一表示中同时支持帧级和图像块级视频编码。作者认为,这种统一表示能够提升编码性能与使用灵活性;配套的模型压缩流程旨在减少有损压缩对表示质量的影响。位置编码的具体构造、帧与图像块的组织方式、训练目标及推理开销尚未验证。 作者报告在 UVG 和 MCL-JCV 数据集上评估了视频压缩性能,相较所比较的 INR 基线取得改进,并与学习式视频编码器具有竞争力。具体而言,作者报告在 UVG 数据集、以 PSNR 衡量重建质量的码率比较中,相对 HNeRV 和 DCVC 的总体码率节省分别为 72.3% 和 43.4%;这些数值不是 PSNR 的提升幅度。摘要未展开码率汇总方法、质量区间、数据划分及基线配置,因此不能据此判断其他协议下的收益。 复现时需核对分层位置编码与网络容量各自的贡献、剪枝和量化设置、模型参数与其他编码信息的码率计入方式,以及训练成本和解码速度。实验协议、消融及统计信息尚未验证。材料未提供面向神经信号的具体机制对应或验证结果,不能将视频压缩收益视为 EEG/BCI 有效性的证据。

阅读价值

值得核对其分层位置编码、帧与图像块统一表示及模型压缩流程如何改善 INR 视频编码的率失真表现,但摘要中的码率节省仍需结合完整评估协议验证。

来源:OpenReview · Representation learning · openreview.net