跳到正文
OpenReview · Representation learning· Hao Chen; Matthew Gwilliam; Ser-Nam Lim; Abhinav Shrivastava·· 2023-01-01精选AI 评分78

HNeRV:一种用于视频的混合神经表示

HNeRV: A Hybrid Neural Representation for Videos

AI 导读

基于摘要分析。本文研究视频神经表示中固定、与内容无关的嵌入对重建能力和视频插值内部泛化的限制,提出 Hybrid Neural Representation for Videos(HNeRV),通过可学习编码器生成内容自适应嵌入,并重新分配网络中的参数容量。研究对象是视频表示及其重建、压缩和修复应用,并非 EEG 或 BCI。 机制上,NeRV、E-NeRV 等方法以帧索引或位置索引为输入,依赖固定嵌入重建视频帧;HNeRV 改用编码器产生的内容自适应嵌入作为解码器输入。此外,HNeRV blocks 旨在使参数更均匀地分布于整个网络,让靠近输出的层具有更多容量存储高分辨率内容和视频细节。摘要未提供具体损失、编码器结构或训练安排。 作者报告,在视频回归任务中,相比隐式表示方法,HNeRV 的重建质量提升为 +4.7 PSNR,收敛速度为 16 × faster,并具有更好的内部泛化;但摘要未明确这些数值对应的数据集、具体基线、模型容量和计时条件,不能视为所有设置下的统一收益。作者还报告,相比 H.264、H.265 及学习式压缩方法,HNeRV 在解码速度、灵活性和部署方面具有优势,并探索了视频压缩与视频修复任务。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将内容自适应嵌入用于多通道 EEG 片段压缩,可检验其是否比仅依赖时间索引的表示更好地保留非平稳细节;这是假设,不是本文已验证贡献。其依赖的视频空间结构与 EEG 通道结构不同,编码器和解码器需按通道—时间关系改造,低信噪比、小数据及跨被试变化可能使嵌入拟合噪声。小规模实验可在同一 EEG 数据与固定划分下,对照时间索引表示和内容自适应表示,在匹配存储预算时比较重建误差及下游任务信息保留情况。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读之处在于以内容自适应嵌入和参数容量重分配改进视频神经表示,可重点核对两项改动对重建质量、收敛速度与视频插值的独立贡献;其 EEG/BCI 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net