RAWMamba:基于状态空间模型的统一 sRGB-to-RAW 逆渲染
RAWMamba: Unified sRGB-to-RAW De-rendering With State Space Model
基于摘要分析。该研究针对图像与视频 sRGB-to-RAW 逆渲染中元数据来源不同、专用网络架构难以兼容的问题,提出基于 Mamba 的统一框架 RAWMamba,利用部分 RAW 参考信息辅助从 sRGB 重建 RAW 数据。 原问题中,图像任务的元数据通常通过采样获得,视频任务则通常利用初始帧提供元数据。RAWMamba 的 Unified Metadata Embedding(UME)模块将不同类型的元数据转换为统一表示,并通过 multi-perspective affinity modeling 提取参考信息。Local Tone-Aware Mamba(LTA-Mamba)模块建模长程依赖,以支持元数据的全局传播。其方法重点是统一不同参考信息的接入方式,并在重建过程中传播这些信息,而非单纯进行无参考图像恢复。 作者报告,RAWMamba 在相关实验中达到 state-of-the-art 性能并生成高质量 RAW 重建结果;但摘要未提供数据集、划分、对照基线、评价指标或具体数值,因此尚不能核对优势的幅度与适用范围。元数据采样方式、训练与推理设置、模块消融、统计信息及实际部署开销尚未验证。 该工作的主要研究对象是图像与视频逆渲染。摘要没有提供 EEG/BCI 实验,也未建立成像元数据与神经信号任务之间的具体对应关系,因此不将其重述为 BCI 算法贡献;相关 EEG 工作尚未检索确认。
值得关注其以统一元数据表示兼容图像与视频逆渲染的机制,但性能优势及部署收益仍需结合完整实验协议核对,不能据此推断 EEG/BCI 有效性。
来源:OpenReview · State space models · openreview.net