跳到正文
OpenReview · State space models· Hu Gao; Bowen Ma; Ying Zhang; Jingfan Yang; Jing Yang; Depeng Dang·· 2024-07-21AI 评分65

通过选择性状态空间模型学习丰富特征以实现高效图像去模糊

Learning Enriched Features via Selective State Spaces Model for Efficient Image Deblurring

AI 导读

基于摘要分析。本文研究图像去模糊中长程退化扰动消除与计算效率之间的权衡,提出基于选择性状态空间模型(SSM)的图像恢复网络,通过联合聚合局部与全局特征,缓解作者所述的局部像素遗忘和通道冗余问题。 核心组件是局部与全局信息聚合块 ALGBlock,包含局部与全局特征捕获模块 CLGF 和特征聚合模块 FA。CLGF 采用两个分支:全局分支通过选择性 SSM 捕获长程依赖;局部分支采用简化通道注意力建模局部连接。FA 在两个分支的聚合过程中重新校准权重,以突出局部信息用于图像恢复。其机制重点是补充纯长程建模可能弱化的局部细节,而非仅以 SSM 替换 CNN 或 Transformer。 作者报告,该方法在常用基准上优于现有先进方法;但摘要未提供基准名称、数据划分、评价指标、具体数值或对照方法,不能据此核定优势幅度。摘要将选择性 SSM 的线性复杂度作为动机,整网的实际计算开销与效率收益仍需正文验证。训练损失、实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,用长程状态建模与局部特征分支共同处理 EEG 中持续背景和短时事件,但图像空间邻接、图像恢复监督与 EEG 时间结构及任务标签并不等价。可复用的是双分支聚合思路;局部分支及注意力轴需按时间与电极结构改造,不能将图像特征通道直接视为 EEG 电极。低信噪比可能使局部分支放大伪迹,跨被试与通道配置变化可能破坏聚合权重,小数据也可能导致过拟合。一个可证伪的小实验是在固定 Cross-subject 划分的 EEG 解码任务中,对比纯 SSM、加入局部分支及加入 FA 的版本,保持训练预算一致,检验解码指标与计算开销是否共同改善。已有 EEG 相关工作尚未检索确认。

来源:OpenReview · State space models · openreview.net