GaussianVideo:基于 Gaussian Splatting 的高效视频表示与压缩
GaussianVideo: Efficient Video Representation and Compression by Gaussian Splatting
基于摘要分析。GaussianVideo 面向视频表示与压缩,针对 NeRV 类隐式神经表示随模型规模增大而出现的编码、解码速度及显存开销问题,提出基于可变形 2D Gaussian Splatting 的视频表示方法。其主要贡献是通过随时间变化的高斯表示与时序冗余建模,提高视频表示的资源效率。 机制上,方法以初始化的二维高斯为基础,将时间步输入基于多平面的时空编码器及轻量解码器,预测高斯颜色、坐标与形状的变化,从而动态适配各帧。摘要还提出利用时间梯度捕获时序冗余,但未给出其具体计算方式、损失形式及训练约束,不能进一步判断该机制如何影响压缩质量。 作者报告,相较其所称的最先进 NeRV 方法,GPU 显存使用量最多降低 78.4%,训练速度达到 5.5 倍,解码速度达到 12.5 倍。摘要未提供对应数据集、分辨率、硬件、比较方法及画质或码率条件,因此这些数字仅能作为作者在其评估设置下的报告,不能据此认定在相同率失真条件下全面优于 NeRV 或传统编解码器。实验协议、消融及统计信息尚未验证,代码与复现条件也尚未验证。 平台推测(待验证):其潜在可迁移点是以紧凑动态基元表示连续时空信号,而非已验证的 BCI 解码能力。若用于 EEG 时空图压缩,需要将电极布局与信号幅值映射到表示中,并改造颜色预测及重建目标;二维空间平滑假设可能不适合稀疏电极,低信噪比、短暂 ERP 和跨被试差异也可能使压缩损伤任务信息。一个可检验的小实验是在固定被试内划分下,以相同存储预算比较该表示与直接信号压缩的重建误差及下游解码性能,并单独检查短暂事件是否保留。相关 EEG 工作尚未检索确认。
值得关注其以可变形 2D Gaussian Splatting 和时间梯度利用视频时序冗余的机制,但摘要所报资源与速度优势仍需结合完整评估协议核对,尚不能视为 EEG/BCI 有效性的证据。
来源:OpenReview · Representation learning · openreview.net