跳到正文
OpenReview · State space models· Yi-Hsin Chen; Si-Cun Chen; Yi-Hsin Chen; Yen-Yu Lin; Wen-Hsiao Peng·· 2023-01-01精选AI 评分78

MoTIF:利用局部隐式神经函数学习运动轨迹,实现连续时空视频超分辨率

MoTIF: Learning Motion Trajectories with Local Implicit Neural Functions for Continuous Space-Time Video Super-Resolution

AI 导读

基于摘要分析。该研究针对连续时空视频超分辨率(C-STVSR),目标是以任意倍率同时提升输入视频的空间分辨率与时间分辨率。MoTIF 引入时空局部隐式神经函数,通过学习连续像素位置上的前向运动轨迹,在输入帧之间传播信息。 核心机制是将运动建模为单独的前向轨迹;作者以此区别于后向运动所涉及的多条运动轨迹混合。为便于运动插值,方法将从输入视频提取的稀疏采样前向运动编码为上下文输入,并结合可靠性感知的 splatting(前向散射)与解码方案完成重建。其可核对的方法价值在于:连续坐标表示如何与显式运动上下文结合,以及运动可靠性如何参与信息聚合。 作者报告 MoTIF 在 C-STVSR 上达到当时最优性能,但摘要未提供具体数据集、时空缩放倍率、数据划分、对照基线及指标数值,因此不能据此判断其在不同倍率或运动条件下的优势。实验协议、消融及统计信息尚未验证;隐式函数结构、训练目标与计算开销也需查阅全文。摘要提供了源代码地址,但代码内容与复现条件尚未核验。 论文的主要研究对象是视频运动与图像重建,并非 EEG 或 BCI。当前材料未建立其运动轨迹机制与神经信号解码之间的具体对应关系,不能将视频超分辨率结果视为 BCI 有效性证据;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以连续前向运动轨迹替代后向混合轨迹的建模思路,以及可靠性感知 splatting 对任意时空倍率视频重建的作用;摘要中的性能结论仍需结合完整评估协议验证。

来源:OpenReview · State space models · openreview.net