OpenReview · State space models· Yuantong Zhang; Huairui Wang; Zhenzhong Chen·· 2022-01-01精选AI 评分71
通过增强双向光流 Warping 实现可控时空视频超分辨率
Controllable Space-Time Video Super-Resolution via Enhanced Bidirectional Flow Warping
AI 导读
基于摘要分析。本文研究同时提高视频帧率与空间分辨率的时空视频超分辨率,针对大运动近似不准确及运动轨迹时间一致性不足的问题,整合并增强不同光流 warping 策略,实现可控的任意中间时刻帧生成。主要研究对象是视频重建,而非 EEG 或 BCI。 核心机制是利用增强后向 warping 进行对齐,从低分辨率输入帧之间挖掘时空信息,再通过增强前向 warping 插值生成任意中间帧。摘要说明模型可端到端训练,仅监督中心时刻即可生成任意时刻的中间结果;但增强操作的具体形式、光流估计方法、时间控制方式、损失函数及监督设置尚未验证,不能据此推断其网络结构或训练细节。 作者报告,在所用视频超分辨率实验中,该算法的客观指标与主观视觉效果相较当时先进方法表现有利。摘要未提供数据集、划分、对照方法、指标名称或数值,因此无法判断提升幅度,以及大运动与时间一致性改善分别获得了怎样的证据。实验协议、消融及统计信息尚未验证,代码与复现条件也尚未验证。 该方法依赖视频中的空间运动及跨帧对应关系,材料没有提供其与 EEG 信号结构或 BCI 任务之间的具体对应机制,因此不据此提出 EEG 迁移效果或复现实验建议。已有 EEG 相关工作尚未检索确认。
阅读价值
值得阅读的具体机制是将增强后向 warping 用于跨帧对齐、增强前向 warping 用于任意时刻插帧,并以中心时刻监督训练;其大运动处理能力与时间一致性收益仍需结合全文实验核对。
来源:OpenReview · State space models · openreview.net