跳到正文
OpenReview · State space models· Yuantong Zhang; Huairui Wang; Zhenzhong Chen·· 2021-01-01精选AI 评分73

基于光流复用的双向递归网络用于时空视频超分辨率

Optical-Flow-Reuse-Based Bidirectional Recurrent Network for Space-Time Video Super-Resolution

AI 导读

基于摘要分析。本文研究时空视频超分辨率(ST-VSR),目标是同时提高视频的空间分辨率与帧率。针对既有方法计算成本较高、长程信息利用效率不足的问题,作者提出结合光流复用策略的双向递归网络 OFR-BRN,以较低的帧对齐开销利用较远邻近帧中的时序信息。 核心机制是复用相邻帧的中间光流,构建高效、节省内存的多帧运动信息利用策略;BRN 的隐藏状态由复用光流更新,再通过 Feature Refinement Module(FRM)细化。作者称,相较传统 LSTM-based 设计,该策略能够减少帧对齐的计算负担;中间光流估计还可帮助推断非线性运动并恢复细节。摘要未提供光流复用的具体计算形式、FRM 结构、损失函数或训练流程,相关实现尚未验证。 作者报告,OFR-BRN 在视频 ST-VSR 实验中的精度与效率优于所比较的先进方法,但摘要未列出数据集、划分、基线、指标数值及运行硬件。因此,性能优势的幅度、内存节省情况、实验协议、消融及统计信息尚未验证,复现所需代码与配置也尚未确认。 该研究的主要对象是具有空间运动对应关系的视频,而非 EEG 或 BCI。光流复用依赖相邻图像之间可估计的运动关系,不能直接等同于神经信号的时间依赖建模;当前材料不足以支持具体 EEG 迁移方案,已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其通过复用相邻帧中间光流降低时序对齐开销、结合双向递归利用长程信息的机制,但摘要中的精度与效率优势仍需结合完整实验协议核对。

来源:OpenReview · State space models · openreview.net