跳到正文
OpenReview · State space models· Qiang Zhu; Xiandong MENG; Yuxuan Jiang; Fan Zhang; David Bull; Shuyuan Zhu; Bing Zeng; Ronggang Wang·· 2026-01-26精选AI 评分74

用于在线视频超分辨率的轨迹感知移位状态空间模型

Trajectory-aware Shifted State Space Models for Online Video Super-Resolution

AI 导读

基于摘要分析。本文研究在线视频超分辨率(VSR):利用此前视频帧恢复当前高分辨率帧,针对仅依赖单个相邻历史帧进行时序对齐所带来的长程建模限制,提出 Trajectory-aware Shifted SSMs(TS-Mamba),结合轨迹建模与 Mamba 聚合历史时空信息。 核心机制是先构建视频内的轨迹,从历史帧中选择最相似的 tokens,再通过 Trajectory-aware Shifted Mamba Aggregation(TSMA)模块进行聚合。该模块包含基于 Hilbert 扫描及相应移位操作设计的 shifted SSMs blocks,旨在补偿扫描损失并增强 Mamba 的空间连续性。作者还提出轨迹感知损失,用于监督轨迹生成、提高训练时 token 选择的准确性;损失具体形式、轨迹构建方式及历史信息范围尚未验证。 作者报告,在三个常用 VSR 测试数据集上,相比六个在线 VSR 基准模型,TS-Mamba 在多数情形下达到其所称的最优性能,并实现超过 22.7% 的计算复杂度降低,以 MACs 衡量。摘要未列出数据集名称、质量指标、逐项对照结果及该降幅对应的基线,因而不能据此推断所有设置均有同等优势。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库,但实现完整性、训练配置及复现条件尚未核对。 平台推测(待验证):可迁移假设在于,轨迹引导的历史 token 选择可能缓解 EEG 长序列中无关历史片段干扰,但视频依赖可追踪的空间运动和帧间对应关系,不能直接等同于 EEG 的时频或通道对应。可考虑复用历史 token 选择与状态空间聚合,需改造轨迹定义、扫描顺序及监督目标;低信噪比、跨被试差异、通道布局变化和小数据可能使对应关系不稳定。一个可检验的小实验是在固定跨被试 EEG 划分、相同训练预算下,对比基础 Mamba 与加入历史 token 选择的变体,并用随机选择对照检验收益是否来自有效对应。该实验属于迁移假设,不是论文已证实的 BCI 结果;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其轨迹引导 token 选择与 Hilbert 扫描移位如何改善在线时空聚合,作者报告的性能与 MACs 优势仍需结合全文中的评估协议和复杂度统计口径验证。

来源:OpenReview · State space models · openreview.net