PNeRV:面向视频的多项式神经表示
PNeRV: A Polynomial Neural Representation for Videos
基于摘要分析。本文研究视频隐式神经表示(INRs)中时间维度带来的建模问题,提出按图像块建模的 Polynomial Neural Representation for Videos(PNeRV),旨在兼顾参数效率与时空连续性。其主要对象是视频表示与处理,而非 EEG 或 BCI。 机制上,作者指出,仅按帧参数化的视频 INR 难以保留像素级空间表示所具有的时空连续性。PNeRV 利用 Polynomial Neural Networks,将连续时间(帧)信号用于调制连续空间(图像块)信号;另设计 Hierarchical Patch-wise Spatial Sampling Scheme,以在保持参数效率的同时维持空间连续性,并结合专门设计的 Positional Embedding。摘要未提供具体多项式形式、位置嵌入实现、训练损失或推理流程。 作者报告,PNeRV 在视频压缩等常规 INR 任务,以及依赖底层表示时空连续性的下游应用中优于对照基线。摘要未列出数据集、数据划分、基线名称、评价指标或定量结果,因此尚不能判断性能增益的幅度、适用范围及参数效率的具体权衡;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其连续空间信号与时间信号的调制机制,可作为 EEG 时空隐式表示的迁移假设,但视频图像块依赖规则空间结构,EEG 电极拓扑并不等价于像素网格。可考虑复用调制思想,将空间采样和位置嵌入改造成基于电极位置的表示;低信噪比、跨被试差异、缺失通道及小数据可能使连续性约束抹平局部瞬态活动。一个可证伪的小实验是在固定被试内划分、匹配参数量与训练预算的条件下,比较调制式表示与不含该调制的表示在留出通道信号重建上的误差,并检查瞬态波形保真度。此为迁移假设,不是本文已验证的 EEG 结果;已有 EEG 相关工作尚未检索确认。
值得关注的是 PNeRV 用多项式调制连接连续空间块与时间信号、兼顾时空连续性和参数效率的机制,但其性能优势及向 EEG 表征迁移的价值尚需分别核验。
来源:OpenReview · Representation learning · openreview.net