跳到正文
OpenReview · State space models· Yuantong Zhang; Daiqin Yang; Zhenzhong Chen; Wenpeng Ding·· 2023-01-01精选AI 评分74

利用长程时间信息的连续时空视频超分辨率

Continuous Space-Time Video Super-Resolution Utilizing Long-Range Temporal Information

AI 导读

基于摘要分析。本文研究时空视频超分辨率(ST-VSR),即同时提高源视频的帧率与空间分辨率,提出连续 ST-VSR 方法 C-STVSR,以支持任意目标帧率和空间分辨率,并利用长程邻近帧信息改善重建。 作者指出,既有方案往往在训练阶段限定中间时刻与缩放尺度,或仅接受预设数量的输入帧,限制了时间、空间输出的灵活性及长程信息利用。针对任意时刻插帧,方法采用前向变形引导的帧合成模块,并引入光流引导的上下文一致性损失,旨在更好地处理极端运动、保持输入帧与预测帧之间的相似结构。针对连续空间上采样,作者设计了显存友好的级联 depth-to-space 模块;同时通过重新组织光流,使长程邻近帧的信息传播在显存开销上更可行。摘要未给出损失公式、光流重组细节或连续尺度实现方式。 作者报告,在多个数据集上的实验中,该方法具有较好的灵活性,且客观评估与主观视觉效果优于所比较的先进方法。但摘要未列出数据集名称、划分、评价指标、数值、对照方法及显存测量条件,因此无法判断提升幅度及适用边界;实验协议、消融及统计信息尚未验证。复现时需核对输入帧数量与跨度、训练和测试的时刻及尺度设置,以及重建质量与显存开销的权衡。 本文主要对象是视频重建,其机制依赖图像空间结构、光流与相邻帧对应关系;摘要未提供这些机制与 EEG/BCI 的具体对应关系,故不据此提出神经信号迁移方案。来源栏目名称也不足以证明该方法采用状态空间模型。

阅读价值

值得关注其将任意时刻插帧、连续空间上采样与长程帧信息传播结合的具体机制,但性能优势及显存收益仍需核对全文实验,摘要不支持将其认定为 EEG/BCI 方法或状态空间模型。

来源:OpenReview · State space models · openreview.net