RainMamba:利用状态空间模型增强局部性学习的视频去雨方法
RainMamba: Enhanced Locality Learning with State Space Models for Video Deraining
基于摘要分析。该研究针对视频中雨丝与雨滴造成的视觉退化,提出状态空间模型(SSMs)视频去雨网络 RainMamba,通过 Hilbert 扫描与差异引导动态对比局部性学习,改善时空信息序列化后的局部关联建模。 核心机制:视频的时间冗余为稳定去雨提供线索。摘要指出,传统光流与基于核的方法受感受野限制,而 Transformer 的长程依赖建模增加计算复杂度;SSMs 的线性复杂度算子提供高效长程建模路径,但一维扫描可能使原本相邻的像素在序列中相距较远。RainMamba 引入 Hilbert 扫描以增强序列级局部信息捕获,并以差异引导的动态对比策略增强 patch 级自相似性学习。具体扫描维度、差异计算、对比样本构造、损失形式及训练配置尚未验证。 证据范围:作者报告,在四个合成视频去雨数据集及真实雨天视频上,该网络在雨丝和雨滴去除方面表现优于对照方法。摘要未提供数据集名称、划分、基线、指标或数值,因而尚不能量化优势或比较不同评估协议。作者提供了代码与结果链接,但代码可运行性、实验协议、消融及统计信息尚未验证。 平台推测(待验证):迁移假设仅涉及局部性保持与长程序列建模机制,不涉及已证实的 EEG 去噪或 BCI 效果。视频具有规则像素网格、时间冗余与 patch 自相似结构;EEG 虽有时间—通道结构,但电极空间关系不等同于图像邻接。可考虑复用 SSM 与扫描策略,需按电极拓扑改造序列排列,并重新定义对比样本和监督目标。低信噪比、通道配置差异、跨被试变化及小数据可能使局部性假设失效。一个可检验的小实验是在固定数据划分、骨干和训练预算下,对比常规排列与拓扑适配的 Hilbert 排列,并单独检验对比策略的增益;这只是待验证假设。已有 EEG 相关工作尚未检索确认。
值得核对 Hilbert 扫描与差异引导动态对比局部性学习如何改善视频序列化后的局部关联,但其对 EEG 的适用性尚未验证。
来源:OpenReview · State space models · openreview.net