RainMamba:利用状态空间模型增强局部性学习的视频去雨
RainMamba: Enhanced Locality Learning with State Space Models for Video Deraining
基于摘要分析。本文研究视频中雨丝与雨滴的去除,提出基于状态空间模型(SSMs)的 RainMamba,通过 Hilbert 扫描改善时空信息序列化后的局部关联,并以差异引导的动态对比局部性学习增强图像块级自相似性建模。 技术机制:作者指出,传统依赖光流估计及核方法的视频去雨模型存在感受野限制,而 Transformer 的长程依赖建模伴随较高计算复杂度。SSMs 的线性复杂度算子为长程时序建模提供了另一条路径,但将视频转换为一维序列可能使原本相邻的像素在序列中相距较远,削弱时空局部相关性。RainMamba 的 Hilbert 扫描针对这一序列排列问题;动态对比学习则针对图像块层面的自相似性。具体扫描维度、差异信号定义、正负样本构造、损失形式与训练设置尚未验证,不能仅凭摘要认定整个网络具有线性复杂度。 结果与复现:作者报告,在四个合成视频去雨数据集及真实雨天视频上的实验显示,该方法在雨丝和雨滴去除方面优于对照方法。摘要未提供数据集名称、划分、指标数值及基线配置,实验协议、消融及统计信息尚未验证。摘要提供了代码与结果仓库,但实现完整性和复现条件仍需核对。 平台推测(待验证):迁移假设是,保持序列化后的邻域关系可能有助于 EEG 的通道—时间联合建模;这不是本文已验证的贡献。原方法依赖视频的规则空间网格、时间冗余与图像块自相似性,去雨训练所需监督及数据规模尚未验证。可考虑复用扫描顺序与 SSM 建模思路,但 EEG 电极拓扑不等同于像素网格,邻域定义和对比样本构造均需改造;低信噪比、跨被试差异、通道缺失与小数据可能使局部相似性更多反映伪迹而非任务信息。一个可证伪的小实验是在固定数据划分、模型容量与训练预算下,对比普通通道—时间排列和拓扑感知排列,并检查通道扰动后的稳定性。已有 EEG 相关工作尚未检索确认。
值得关注的是 RainMamba 对 SSM 序列化破坏局部相关性问题的处理:Hilbert 扫描与差异引导的动态对比学习提供了可核对的机制,但其对 EEG 的适用性尚未验证。
来源:OpenReview · State space models · openreview.net