跳到正文
OpenReview · State space models· Yuan Shi; Bin Xia; Xiaoyu Jin; Xing Wang; Tianyu Zhao; Xin Xia; Xuefeng Xiao; Wenming Yang·· 2024-01-01精选AI 评分72

VmambaIR:用于图像恢复的视觉状态空间模型

VmambaIR: Visual State Space Model for Image Restoration

AI 导读

基于摘要分析。VmambaIR 面向从退化输入恢复高质量图像的问题,将 State Space Models(SSMs)引入图像恢复,旨在兼顾长程依赖建模与计算效率。其核心贡献是采用 Unet 架构堆叠 Omni Selective Scan(OSS)块,以多方向扫描缓解 SSM 的单向建模限制。 机制方面,每个 OSS 块由 OSS 模块与 Efficient Feed-Forward Network(EFFN)组成。作者提出的 omni selective scan 对六个方向的图像信息流进行建模,并将 SSM 的线性复杂度作为相对于 Transformer 二次复杂度的效率优势。摘要未说明六个方向的具体定义、扫描与融合方式、EFFN 结构、损失函数及训练策略,这些细节尚未验证。 作者报告,在 image deraining、single image super-resolution 和 real-world image super-resolution 等任务中,VmambaIR 达到 SOTA,同时使用更少的计算资源与参数。摘要未提供数据集、数据划分、对照模型、评价指标或资源测量条件,因此该结论目前只能作为作者报告,不能据此量化优势或比较不同任务的性能。实验协议、消融及统计信息尚未验证。 平台推测(待验证):该方法原本依赖具有空间邻接关系的图像数据;多方向扫描与高效长程建模可能为 EEG 去噪提供机制参考,但原领域有效不等于 BCI 有效。可考虑复用 SSM 与扫描模块,需改造时间—通道表示、扫描顺序及训练目标,并核对是否依赖成对退化/参考信号监督。低信噪比、跨被试差异、不规则通道布局和小数据可能削弱效果,恢复过程也可能损伤 ERP 等任务相关成分。一个可证伪的小实验是在固定被试划分与噪声条件下,比较单向扫描和多方向扫描的 EEG 去噪误差、ERP 波形保真度及资源开销,检查效率收益是否伴随信号失真。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其 Omni Selective Scan 如何以线性复杂度缓解 SSM 的单向建模限制,并核对图像恢复效果与资源开销的对照证据;其对 EEG 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net