跳到正文
OpenReview · State space models· Dong Li; Yidi Liu; Xueyang Fu; Jie Huang; Senyan Xu; Qi Zhu; Zheng-Jun Zha·· 2024-09-27精选AI 评分70

FourierMamba:融合 Fourier 学习与状态空间模型的图像去雨方法

FourierMamba: Fourier Learning Integration with State Space Models for Image Deraining

AI 导读

基于摘要分析。该研究针对图像去雨中 Fourier 方法较少联合建模低频与高频关联的问题,提出 FourierMamba,在 Fourier 空间引入 Mamba,以利用不同频率之间的依赖关系恢复清晰图像背景。主要研究对象是图像去雨,而非 EEG 或 BCI。 核心机制是根据频率在不同维度上的排列方式采用不同设计。在空间维度的 Fourier 空间中,频率沿坐标轴并非按低频到高频排列,方法使用 zigzag 编码扫描并重排频率顺序,再建模频率之间的关联;在通道维度的 Fourier 空间中,频率沿轴已有排列顺序,因此直接使用 Mamba 建模频率关联,增强通道信息表征。相较于摘要所述既有 Fourier 去雨方法,其主要创新是显式利用跨频率关联,而不只是将 Fourier 变换作为捕捉雨纹的频率先验。 作者报告,该方法在图像去雨实验中定性与定量表现均优于所比较的先进方法。摘要未提供数据集、训练与测试划分、具体对照方法、评价指标或数值,因此不能判断优势幅度及适用范围。网络细节、损失函数、训练配置、消融及统计信息尚未验证。 平台推测(待验证):频率排序后使用状态空间模型建模关联,可能为 EEG 频域表征提供可检验的机制假设,但图像雨纹的频率结构不等同于神经信号与伪迹的结构。可考虑复用频率序列建模思路;二维 zigzag 扫描和通道 Fourier 处理则需依据 EEG 的时间—频率组织及电极排列重新评估。低信噪比、跨被试频谱差异、通道顺序缺乏稳定意义以及小数据条件,均可能使模型学到伪迹或被试特征。一个小规模检验是在固定 EEG 数据划分、训练预算和分类器条件下,对比按频率排序的 Mamba、打乱频率顺序的 Mamba 与不建模跨频率关联的基线,检验排序机制是否带来可重复收益。相关 EEG 工作尚未检索确认,以上不构成已验证的 BCI 效果。

阅读价值

值得阅读的具体机制是按 Fourier 空间的频率排列分别设计空间与通道扫描,以 Mamba 建模频率间关联;其去雨优势仍需核对完整实验,迁移至 EEG 的价值尚未验证。

来源:OpenReview · State space models · openreview.net