MSNeRV:融合多尺度特征的神经视频表示
MSNeRV: Neural Video Representation with Multi-Scale Feature Fusion
基于摘要分析。本文研究隐式神经表示(INRs)用于视频表示与压缩时,对细节密集、快速变化内容表达不足的问题,提出多尺度特征融合框架 MSNeRV。其主要贡献是结合时间窗口、GoP 级背景表示、多尺度空间解码及隐藏特征利用,增强视频的时空信息表达。 机制上,编码阶段通过时间窗口增强时间一致性,并将视频划分为多个 Groups of Pictures(GoPs),使用 GoP 级网格表示背景;空间解码阶段结合多尺度解码器与尺度自适应损失,整合多分辨率、多频率信息,另以多尺度特征块利用网络隐藏特征。摘要未提供损失公式、网格构造或各模块的具体连接方式。 作者报告,在 HEVC ClassB 与 UVG 数据集的视频表示和压缩评估中,MSNeRV 的表示能力优于所比较的 INR 方法,并在动态场景的压缩效率上超过 VTM-23.7(Random Access)。摘要未给出具体率失真指标、数值、视频划分及编码开销统计,因而不能据此判断优势幅度或推广到全部视频场景。实验协议、消融及统计信息尚未验证;复现需进一步核对模型与网格的存储成本、训练及解码开销,以及对照的编码配置。 平台推测(待验证):多尺度信息整合可作为 EEG 时空信号表示的候选思路,但视频的空间邻接结构与 GoP 背景假设不能直接套用于 EEG。若迁移,需改造通道拓扑、时间分段及背景表示,并检验低信噪比、跨被试差异和小数据条件下是否仍有效。一个可证伪的小实验是在固定数据划分与参数预算下,对比单尺度和多尺度 EEG 重建模型,同时评估重建误差及下游任务表现;该假设尚非本文已验证贡献,相关 EEG 工作尚未检索确认。
值得核对其时间窗口、GoP 级背景表示与多尺度解码如何共同改善动态视频压缩,但摘要不足以确认各模块贡献及与 VTM-23.7 比较的具体率失真协议。
来源:OpenReview · Representation learning · openreview.net