跳到正文
OpenReview · State space models· Yuhong He; Long Peng; Qiaosi Yi; Chen Wu; Lu Wang·· 2024-01-01精选AI 评分72

基于状态空间模型的图像恢复多尺度表征学习

Multi-Scale Representation Learning for Image Restoration with State-Space Model

AI 导读

基于摘要分析。该研究针对图像退化造成的多尺度细节丢失与对比度下降,提出用于图像恢复的 MS-Mamba,将全局与区域状态空间模型(SSM)和梯度、频域细节模块结合,以兼顾多尺度表征能力与计算效率;主要研究对象是图像恢复,而非 EEG 或 BCI。 机制方面,作者以 Transformer 计算复杂度较高、CNN 感受野受限为出发点,提出全局与区域 SSM 模块增强多尺度表征学习,并通过 Adaptive Gradient Block(AGB)捕获不同方向的梯度,通过 Residual Fourier Block(RFB)促进频域细节学习。摘要未说明 SSM 的具体实现、图像序列化方式、模块连接、损失函数与训练监督设置,这些内容尚未验证。 作者报告,在去雨、去雾、去噪和低光增强四类图像恢复任务、共九个公开基准上,该方法达到新的最先进性能并保持较低计算复杂度。摘要未提供基准名称、数据划分、对照方法、评价指标、具体分数及复杂度测量条件,因此目前不能量化或独立确认其优势;实验协议、消融及统计信息尚未验证。作者表示源代码将公开,不代表代码已经发布。 平台推测(待验证):全局与区域 SSM 的组合可作为 EEG 长时依赖与局部波形联合建模的候选机制,RFB 的频域处理也可能对应节律信息提取,但图像空间尺度和方向梯度并不直接等同于 EEG 时间尺度或电极拓扑。迁移需改造输入组织、多尺度定义及 AGB,且训练监督和数据规模依赖仍需查阅全文。低信噪比、跨被试差异、通道布局变化及小数据条件可能使细节增强放大伪迹,或使模型学习不稳定的频谱特征。一个可检验的小实验是假设上述组合有助于 EEG 去噪,在固定被试划分、相同污染条件与训练预算下,对比单一 SSM、加入全局与区域建模、再加入频域模块的重建误差及节律保真度;该实验仅用于检验迁移假设,不构成已有 BCI 效果证据。相关 EEG 工作尚未检索确认。

阅读价值

值得核对 MS-Mamba 如何结合全局与区域 SSM、方向梯度和频域细节建模实现高效图像恢复,但其性能优势及对 EEG 的可迁移性尚未验证。

来源:OpenReview · State space models · openreview.net