跳到正文
OpenReview · State space models· Huiyu Zhai; Guang Jin; Xingxing Yang; Guosheng Kang·· 2024-09-05AI 评分66

ColorMamba:基于 Mamba 的高质量 NIR-to-RGB 光谱转换

ColorMamba: Towards High-quality NIR-to-RGB Spectral Translation with Mamba

AI 导读

基于摘要分析。ColorMamba 研究近红外(NIR)图像到可见光 RGB 图像的光谱转换,旨在兼顾跨域重建所需的广域感受野与计算效率。其核心贡献是在 Mamba 骨干中结合可学习填充 token、局部卷积增强和 agent attention,并利用 HSV 颜色信息提供多尺度重建引导;研究对象是图像光谱转换,而非 EEG 解码或 fNIRS 信号分析。 机制上,摘要指出 Mamba 能以线性复杂度捕获长程依赖,但将二维图像转成一维序列可能忽略局部上下文。ColorMamba 用可学习填充 token 增强图像边界的区分,减少序列模型中的潜在混淆;局部卷积增强与 agent attention 用于进一步改善原始 Mamba。HSV 引导服务于颜色重建。具体扫描顺序、token 放置位置、注意力实现、损失及训练配置尚未验证。 作者报告,ColorMamba 相对其称为当前最先进的方法,PSNR 提升 1.02。摘要未注明该差值的单位,也未提供数据集、划分、基线名称和绝对 PSNR,因此该结果只能视为原文未展开评估协议下的作者报告,不能据此比较其他任务或协议。摘要给出了代码地址,但实现与复现条件尚未核验;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,显式区分序列边界并补充局部上下文,可能帮助处理 EEG 时间片段或通道序列化造成的结构混淆。可复用的是边界 token 与局部增强思路,需按时间连续性和电极空间关系改造序列组织;HSV 引导则没有直接对应的 EEG 用途。低信噪比、跨被试差异、通道变化及小数据可能使新增模块学习伪相关。一个可证伪的小实验是在固定 Cross-subject 划分、相同训练预算下,比较原始 Mamba、加入边界 token 及再加入局部增强的版本,检验收益是否稳定,并考察通道变化后的表现。图像结果不构成 BCI 有效性证据,已有 EEG 相关工作尚未检索确认。

来源:OpenReview · State space models · openreview.net