跳到正文
OpenReview · Representation learning· Inseo Lee; Youngyoon Choi; Joonseok Lee·· 2025-01-01精选AI 评分76

GaussianVideo:基于 Gaussian Splatting 的高效视频表示与压缩

GaussianVideo: Efficient Video Representation and Compression by Gaussian Splatting

AI 导读

基于摘要分析。GaussianVideo 面向视频表示与压缩,针对 NeRV 类隐式神经表示随模型规模增大而出现的编码、解码速度与显存开销问题,提出可变形 2D Gaussian Splatting,以随时间变化的二维高斯表示视频内容。 核心机制是通过多平面时空编码器与轻量解码器,根据时间步预测初始化高斯的颜色、坐标和形状变化,使高斯表示逐帧变形;同时利用时间梯度捕捉时序冗余。摘要未给出时间梯度的具体计算方式、训练损失或压缩码流设计,尚不能判断这些模块各自的收益。 作者报告,相较其所称的当前最先进 NeRV 方法,GPU 显存使用量最多降低 78.4%,训练速度达到 5.5 倍,解码速度达到 12.5 倍。这些结果的具体数据集、基线版本、硬件、分辨率、画质与码率条件尚未验证,不能据此认定其在相同率失真条件下全面优于现有视频编码方法;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其潜在可迁移部分是以随时间变形的紧凑基元编码连续信号,但原任务依赖二维空间结构与视频时序冗余,不直接等同于 EEG 表征学习。若用于 EEG 压缩,需要重构电极空间表示及基元参数化,并核对低信噪比、跨被试和通道变化是否破坏表示稳定性;尤其要防止平滑表示丢失短暂神经事件。一个可证伪的小实验是在固定被试内划分下,与匹配压缩率的时序压缩基线比较重建误差及 ERP 波形保真度。该迁移尚无本材料中的直接证据,已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其以可变形 2D Gaussian Splatting 和时间梯度利用视频时序冗余的机制,但速度与显存优势仍需结合画质、压缩率及硬件条件核对。

来源:OpenReview · Representation learning · openreview.net