跳到正文
OpenReview · State space models· Yuan Shi; Bin Xia; Xiaoyu Jin; Xing Wang; Tianyu Zhao; Xin Xia; Xuefeng Xiao; Wenming Yang·· 2025-12-31精选AI 评分74

VmambaIR:用于图像恢复的视觉状态空间模型

VmambaIR: Visual State Space Model for Image Restoration

AI 导读

基于摘要分析。VmambaIR 面向退化图像恢复,利用状态空间模型(SSMs)构建视觉恢复框架,试图兼顾长程依赖建模与计算效率。其核心贡献是 Omni Selective Scan(OSS),通过六个方向的信息建模缓解 SSMs 的单向建模限制。 机制上,作者采用 Unet 架构堆叠 OSS blocks,每个 block 包含 OSS module 与 Efficient Feed-Forward Network(EFFN)。摘要将该方案定位为线性复杂度的替代路径,对应 CNNs 长程依赖建模受限、transformers 随输入图像大小增长的二次复杂度,以及 diffusion models 所需大型先验模型和高成本去噪步骤。六个方向的具体定义、扫描顺序、信息融合方式及 EFFN 的实现尚未验证,不能据此推断具体网络结构或损失形式。 作者报告,在图像去雨、单图像超分辨率和真实世界图像超分辨率等任务上,VmambaIR 达到 SOTA,同时使用更少的计算资源与参数。摘要未提供数据集、划分、对照基线、评价指标或具体数值,因此这些结论尚不能量化核对;实验协议、消融及统计信息尚未验证。复现需进一步确认退化数据构造、训练配置、复杂度计算口径及代码可用性。 平台推测(待验证):线性复杂度的长程建模可能对长时间窗 EEG 去噪有参考价值,但图像恢复效果不等于 EEG/BCI 效果。该迁移假设依赖多通道时序数据及可用的去噪监督;SSM 主干可能复用,而图像六方向扫描需改造成时间与通道关系建模。低信噪比、通道布局差异和小样本训练可能使模型抹除有效神经信号。可先在固定跨被试划分下,以相同训练数据和参数预算比较改造后的 OSS 与单向 SSM,检验去噪误差及下游任务性能是否同时改善。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 Omni Selective Scan 如何实现六方向信息建模,以及其在图像恢复中的性能与计算成本权衡;摘要中的 SOTA 与资源优势仍需结合全文实验协议验证。

来源:OpenReview · State space models · openreview.net