跳到正文
OpenReview · State space models· Xin Di; Long Peng; Peizhe Xia; Wenbo Li; Renjing Pei; Yang Cao; Yang Wang; Zheng-Jun Zha·· 2024-01-01精选AI 评分73

QMambaBSR:基于查询状态空间模型的连拍图像超分辨率

QMambaBSR: Burst Image Super-Resolution with Query State Space Model

AI 导读

基于摘要分析。本文研究连拍图像超分辨率:融合多张低分辨率帧中的互补亚像素信息,重建高分辨率图像,同时抑制高频噪声。作者提出 QMambaBSR,通过 Query State Space Model(QSSM)与 Adaptive Up-sampling(AdaUp)分别改善细节提取和上采样重建;研究对象是图像恢复,而非 EEG 或 BCI。 机制上,作者认为已有逐帧关系建模难以充分利用多帧之间的相互关联及帧内交互。QSSM 基于“亚像素信息具有一致空间分布、随机噪声分布不一致”的观察,将跨帧查询与帧内扫描结合,在同一步骤中提取互补细节并减轻噪声干扰。AdaUp 根据不同连拍场景中多帧亚像素信息的空间分布,动态调整上采样核,以改善高分辨率细节的空间重建。摘要未给出状态更新公式、扫描顺序、损失函数或具体训练设置。 作者报告,在四个合成及真实场景基准上达到新的最优性能,但摘要未列出基准名称、数据划分、指标数值及对照方法,因此尚不能核对优势幅度或比较协议。实验协议、消融及统计信息尚未验证,代码与复现条件也尚未验证。 平台推测(待验证):可迁移的假设是,跨帧查询与帧内扫描可能改造成跨重复试次的信息查询及试次内时序建模,用于提取稳定的 EEG 诱发响应。原方法依赖多帧共享场景及互补空间采样信息,其监督方式和所需数据规模尚未验证;EEG 则存在潜伏期抖动、被试差异、通道布局差异和非独立噪声,不能直接套用亚像素一致性假设。QSSM 的查询与扫描思路可供考察,图像 AdaUp 不宜直接照搬。一个可检验的小实验是在固定被试内划分下,以重复 ERP 试次重建为任务,与试次平均及匹配容量的时序基线比较,并扰动试次对齐程度,检验收益是否依赖时间一致性;低信噪比及小数据下可能出现信号平滑或过拟合。已有相关 EEG 工作尚未检索确认。

阅读价值

值得阅读的是 QSSM 将跨帧查询与帧内扫描结合以提取互补细节、抑制噪声的机制,以及 AdaUp 的动态上采样设计;其性能优势及向 EEG 的适用性尚需验证。

来源:OpenReview · State space models · openreview.net