跳到正文
OpenReview · State space models· Shiyang Zhou; Haijin Zeng; Yunfan Lu; Yongyong Chen; Jie Liu; Jingyong Su·· 2025-12-31精选AI 评分73

基于状态空间增强交叉注意力的轻量级 Quad Bayer HybridEVS 去马赛克方法

Lightweight Quad Bayer HybridEVS Demosaicing via State Space Augmented Cross-Attention

AI 导读

基于摘要分析。该研究面向采用 Quad Bayer 彩色滤波阵列(CFA)的 HybridEVS 相机,解决无颜色信息的事件像素与彩色采样结构结合时产生的去马赛克混叠和伪影问题。作者提出轻量级两阶段网络 TSANet,将事件像素修补与去马赛克分别处理,目标是在资源受限的移动设备上兼顾图像重建质量与计算效率;研究对象是图像重建,而非 EEG 或 BCI 解码。 机制方面,TSANet 通过拆分子任务降低联合重建的复杂性,并引入 Cross-Swin State Block:利用位置先验辅助去马赛克,以状态空间模型增强全局依赖建模,摘要称该部分具有线性复杂度。具体交叉注意力的输入与交互方式、状态空间模块配置、损失函数和训练流程尚未验证。 作者报告,在覆盖七个数据集的 HybridEVS 模拟与真实数据评估中,TSANet 的平均 PSNR 和 SSIM 优于 DemosaicFormer,参数量与计算成本分别降低 1.86× 和 3.29×。摘要未提供各数据集名称、划分方式、逐项分数、绝对参数量或计算成本,因此不能据此推断所有数据集均获提升,也不能将计算成本优势等同于移动端实测延迟优势。实验协议、消融及统计信息尚未验证。摘要称代码位于补充材料,其可访问性与复现条件尚未核对。 平台推测(待验证):可考察的跨领域假设是,将受损观测修补与后续任务分开,并用状态空间模块建模长程依赖,可能适用于部分 EEG 通道缺失场景。但原方法依赖图像 CFA 的空间采样结构及位置先验,训练监督和数据规模尚不清楚;迁移时需改造输入表示、位置先验和重建目标,不能直接沿用去马赛克模块。低信噪比、跨被试差异、不规则通道布局及小数据可能使修补引入偏差。一个可检验的小实验是在固定 EEG 数据划分下人为遮蔽部分通道,比较两阶段修补后解码与直接解码,并同时评估重建误差和下游任务表现。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 TSANet 如何通过任务拆分与状态空间增强交叉注意力兼顾重建质量和计算成本;作者报告了相对 DemosaicFormer 的效率优势,但其向 EEG/BCI 的迁移价值尚未验证。

来源:OpenReview · State space models · openreview.net