跳到正文
OpenReview · State space models· Wang xia; Yao Lu; Shunzhou Wang; Ziqi Wang; Peiqi Xia; Tianfei Zhou·· 2024-12-31精选AI 评分70

LFMamba:基于状态空间模型的光场图像超分辨率

LFMamba: Light Field Image Super-Resolution with State Space Model

AI 导读

基于摘要分析。本文研究光场图像超分辨率(LFSR),核心贡献是针对 4D 光场设计二维切片上的状态空间模型(SSM)特征建模方式,并构建 LFMamba,以利用空间上下文、互补角度信息及结构信息。 机制上,作者将 CNN 捕获长程依赖的困难与 Transformer 的二次计算复杂度作为动机,引入具有选择性扫描机制(S6)的 SSM。研究的关键不是直接套用序列模型,而是为 4D 光场选择合适的扫描与表示方式:在信息丰富的二维切片上应用 SSM,并设计带有高效 SS2D 机制的基础模块。摘要未展开切片的具体构造、扫描方向、模块连接、损失函数或训练配置,因此不能据此确定完整网络结构,也不能将 S6 的线性时间特性直接等同于整个 LFMamba 的端到端复杂度。 作者报告,LFMamba 在光场基准上取得优于对照方法的表现,并通过消融研究支持所提方法的有效性与泛化能力。但摘要未给出基准名称、数据划分、对照模型、指标数值、运行成本或统计信息;实验协议、消融及统计信息尚未验证,具体优势需结合正文核对。 本文的主要对象是具有空间与角度结构的光场图像,而非 EEG 或 BCI。平台推测(待验证):若将多维观测分解为具有明确结构意义的二维切片,再用 SSM 建模长程依赖,这一思路可能用于探索 EEG 的通道—时间表示;但光场的几何结构不能直接等同于电极拓扑。迁移时需重新设计切片与扫描顺序,并检验低信噪比、通道变化、跨被试差异及小数据条件下的过拟合风险。一个可证伪的小实验是在固定 EEG 数据划分、训练预算与模型容量下,对比结构化扫描和固定随机扫描,检查前者是否带来稳定增益。该实验仅是迁移假设,不是本文已验证的结果;相关 EEG 工作尚未检索确认。

阅读价值

值得核对其面向 4D 光场的二维切片组织与 SS2D 扫描设计,以评估结构化多维数据如何借助 SSM 建模长程依赖,但摘要尚不足以验证性能和计算效率优势。

来源:OpenReview · State space models · openreview.net