跳到正文
OpenReview · State space models· Yuan Shi; Bin Xia; Xiaoyu Jin; Xing Wang; Tianyu Zhao; Xin Xia; Xuefeng Xiao; Wenming Yang·· 2025-01-01精选AI 评分72

VmambaIR:用于图像恢复的视觉状态空间模型

VmambaIR: Visual State Space Model for Image Restoration

AI 导读

基于摘要分析。该研究针对图像恢复中长程依赖建模与计算成本之间的矛盾,提出视觉状态空间模型 VmambaIR,将线性复杂度的 State Space Models(SSMs)用于多种图像恢复任务。其核心贡献是 Omni Selective Scan(OSS)机制,通过六个方向的信息流建模,缓解 SSM 单向建模的限制。 方法采用 Unet 架构堆叠 OSS blocks,每个 block 包含 OSS module 和 Efficient Feed-Forward Network(EFFN)。作者将 CNN 的长程依赖建模局限、扩散模型对大型先验模型及多步去噪计算的依赖,以及 transformer 随图像规模增长的二次复杂度作为研究动机。摘要未说明六方向的具体定义、扫描与融合方式、EFFN 内部结构、损失函数或训练配置,上述细节尚未验证。 作者报告,在 image deraining、single image super-resolution 和 real-world image super-resolution 等任务中,VmambaIR 达到 SOTA,并使用更少的计算资源与参数。摘要未提供数据集、划分、对照模型、质量指标及资源测量条件,因此尚不能核对优势幅度或不同任务间的可比性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其潜在 EEG 迁移价值在于以多方向扫描结合较低复杂度建模长程关系,但原方法依赖二维图像结构及图像恢复训练数据,不等同于 EEG 中有效。若用于 EEG 去噪,可复用状态空间序列建模思想,需重新设计时间轴与电极拓扑的扫描、融合及监督目标;六方向不能直接视为 EEG 的自然结构。低信噪比、跨被试差异、通道布局变化和小数据可能使扫描引入错误邻接关系或削弱神经信号。一个可检验的小实验是在相同训练数据、被试划分与近似参数预算下,比较单向时间扫描与拓扑感知多方向扫描的去噪误差及下游任务表现。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 OSS 如何以六方向扫描缓解 SSM 的单向建模限制,以及图像恢复质量与计算成本的权衡;摘要中的 SOTA 和资源优势仍需结合全文实验协议验证。

来源:OpenReview · State space models · openreview.net