融合状态空间模型与 Transformer 的超分辨率网络全局—局部处理
Integrating State Space Model and Transformer for Global-Local Processing in Super-Resolution Networks
基于摘要分析。本文研究单幅图像超分辨率(SISR),提出 SST(State Space Transformer),融合 Mamba 状态空间模型(SSM)模块与 Transformer 自注意力层,以兼顾图像的全局信息与局部依赖,并引入 register tokens 和 SE-Scaling 注意力机制改善性能与计算成本。 机制与贡献:摘要指出,CNN 对非局部信息的建模受限,Transformer 的全局注意力具有二次复杂度,而采用线性复杂度 SSM 的 Mamba 在二维图像局部依赖捕获上仍存在不足。SST 的设计意图是结合两类模块的优势,但摘要未说明具体连接方式、图像扫描或序列化策略,也未给出 register tokens 的作用细节及 SE-Scaling 的计算形式,不能据此推断网络结构或损失函数。 结果与证据边界:作者报告 SST 在经典与轻量级超分辨率任务上取得 state-of-the-art 结果,但摘要未提供数据集、放大倍率、训练与测试划分、对照方法、评估指标或具体数值。因此,目前无法核对性能优势的幅度及计算成本收益;实验协议、消融及统计信息尚未验证。复现还需确认完整结构、训练配置及实现是否公开。 平台推测(待验证):其全局—局部互补机制可能对应 EEG 中长时间依赖与局部瞬态模式的联合建模,但图像超分辨率有效不等于 BCI 有效。可考虑复用 SSM 与自注意力的组合思路,输入表示、局部邻域和通道关系则需针对 EEG 改造;低信噪比、跨被试差异、通道配置变化及小数据训练均可能使融合收益消失。一个可检验的小实验是在同一 EEG 任务和固定 Cross-subject 划分下,以一致训练预算比较纯 SSM、纯 Transformer 与融合结构,同时记录同一任务指标及计算成本,检验互补性是否成立。相关 EEG 工作尚未检索确认。
来源:OpenReview · State space models · openreview.net