跳到正文
OpenReview · State space models· Shiyang Zhou; Haijin Zeng; Yongyong Chen; Jie Liu; Jingyong Su·· 2024-09-27AI 评分74

基于状态空间增强交叉注意力的轻量级 Quad Bayer HybridEVS 去马赛克

Lightweight Quad Bayer HybridEVS Demosaicing via State Space Augmented Cross-Attention

AI 导读

基于摘要分析。本文研究 HybridEVS 相机中事件像素缺少颜色信息与 Quad Bayer 彩色滤波阵列(CFA)共同引起的去马赛克混叠和伪影问题,提出轻量级两阶段网络 TSANet,面向资源受限移动设备的图像重建,而非 EEG/BCI 信号处理。 核心机制是将事件像素修补与 Quad Bayer 去马赛克分开处理,通过两步训练策略学习两个子任务。作者提出 Cross-Swin State Block(CSSB),利用状态空间模型以线性形式捕获全局依赖,并通过跨模态 Swin 注意力融合 CFA pattern、event map 等附加先验。摘要未给出具体状态空间实现、损失函数、训练步骤及“线性形式”的复杂度定义,这些内容尚未验证。 作者报告,在七个不同数据集上的平均 PSNR 和 SSIM 均优于对照方法 DemosaicFormer,同时参数成本和计算成本分别降低 1.86× 与 3.29×。该结论限于摘要所述图像去马赛克评估;数据集名称、划分、指标绝对值、成本计量方式、设备端延迟、消融及统计信息尚未验证。摘要称代码和模型见补充材料,其可获取性与复现条件尚未核对。 平台推测(待验证):可供 EEG 方法设计参考的是将缺损修补与下游任务拆分,以及以状态空间模块结合辅助先验建模长程依赖。迁移假设依赖于可靠的通道缺失掩码和通道空间信息,需将图像 CFA/event map 先验改为 EEG 对应信息,并重设计二维窗口注意力与训练目标。低信噪比、跨被试差异、通道布局变化及小数据可能使修补引入伪信号或使先验失效。一个可证伪的小实验是在固定跨被试划分下模拟通道缺失,对比拆分修补与直接下游建模,并消融状态空间模块和缺失掩码先验,分别评估重建误差及下游性能。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性证据。

来源:OpenReview · State space models · openreview.net