FourierMamba:融合 Fourier 学习与状态空间模型的图像去雨方法
FourierMamba: Fourier Learning Integration with State Space Models for Image Deraining
基于摘要分析。本文研究图像去雨,即从含雨图像中去除雨丝并恢复清晰背景,提出 FourierMamba,将 Fourier 学习与 Mamba 状态空间模型结合,以利用不同频率之间的关联。研究对象是图像恢复,而非 EEG 或 BCI。 核心机制:作者认为,已有 Fourier 去雨方法虽利用频率先验捕捉雨丝,但对低频与高频之间关联的利用仍有限。FourierMamba 针对空间维度与通道维度中不同的频率排列采用不同设计:在空间维度的 Fourier 空间中,用 zigzag 编码扫描并将频率重排为低频到高频的顺序,再建模频率间关联;在通道维度的 Fourier 空间中,作者描述频率已沿轴有序排列,因此直接使用 Mamba 关联频率,以改善通道信息表示。其方法重点是适配频率结构的扫描编码,而不只是将 Mamba 用于常规空间序列。 作者报告,该方法在图像去雨实验中定性与定量表现均优于所比较的现有先进方法。摘要未提供数据集、划分、评价指标、数值、具体基线或计算开销;实验协议、消融及统计信息尚未验证,不能据此判断优势幅度或复现成本。完整损失函数、训练设置及实现细节也尚未验证。 平台推测(待验证):迁移假设是,频率有序扫描与状态空间建模可能用于 EEG 跨频率信息交互,但雨丝的图像频率先验并不等同于 EEG 神经活动的频谱结构。可考虑复用频率扫描及关联模块,需重新定义 EEG 的时间、通道和频率表示,并核对复数频谱与相位信息的处理;图像空间的 zigzag 扫描不能直接视为适合 EEG 通道排列。低信噪比、伪迹、跨被试频谱差异和小数据可能使模型学习到非任务相关关联。一个可检验的小实验是在固定数据划分与相同模型容量下,对比有序频率扫描、随机频率扫描及不使用频率关联的版本,检查收益是否来自频率顺序本身。已有 EEG 相关工作尚未检索确认。
值得阅读的具体机制是按 Fourier 空间的频率排列分别设计空间与通道扫描,使 Mamba 建模低高频关联;其去雨优势仍需核对完整实验,向 EEG 的迁移尚未验证。
来源:OpenReview · State space models · openreview.net