跳到正文
OpenReview · State space models· Hongtao Wu; Yijun Yang; Huihui Xu; Weiming Wang; Jinni Zhou; Lei Zhu·· 2024-01-01精选AI 评分75

RainMamba:利用状态空间模型增强局部性学习的视频去雨方法

RainMamba: Enhanced Locality Learning with State Space Models for Video Deraining

AI 导读

基于摘要分析。该研究针对视频中的雨纹与雨滴去除,提出基于状态空间模型(SSMs)的 RainMamba,在利用长程时序信息的同时,通过 Hilbert 扫描和差异引导的动态对比局部性学习增强局部信息建模。 原问题与机制:视频包含可用于去雨的冗余时序线索。作者指出,传统光流估计及基于核的方法受感受野限制,而 Transformer 的长程依赖建模带来较高计算复杂度;SSMs 的线性复杂度算子有利于高效时序建模,但将视频展为一维序列时,原本相邻的像素可能在序列中相距较远,损害时空局部关联。RainMamba 使用 Hilbert 扫描改善序列级局部信息捕获,并引入差异引导的动态对比局部性学习策略,增强图像块级自相似性学习。具体扫描布局、差异计算、对比样本构造及损失形式尚未验证。 结果与复现:作者报告,在四个合成视频去雨数据集及真实雨天视频上的实验支持其去除雨纹、雨滴的有效性与效率。摘要未提供数据集名称、划分、指标、数值或对照结果,因此无法量化收益或比较计算成本。作者提供了代码与结果地址,但实现、训练配置、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,若 EEG 的通道—时间表示具有可信的局部邻接关系,保局部性的序列化可能缓解 SSM 输入排列造成的邻近信息分离。可复用思路是扫描顺序设计,需改造的是通道空间布局、时间轴处理及图像块相似性定义;原方法依赖视频时空结构与冗余,训练监督及规模尚未验证。EEG 低信噪比、跨被试差异、通道布局变化和小数据可能使邻接或相似性假设失效。一个可检验的小实验是在固定 EEG 任务、划分与 SSM 主干下,仅比较常规排列和基于电极空间布局的 Hilbert 排列,检查任务表现与计算开销。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其 Hilbert 扫描与差异引导的动态对比局部性学习如何缓解 SSM 序列化造成的局部关联损失,但摘要中的视频去雨结论不能直接外推为 EEG/BCI 有效性。

来源:OpenReview · State space models · openreview.net