跳到正文
OpenReview · State space models· Jiaoyang Yin; Bin Fan; Chao Xu; Tiejun Huang; Boxin Shi·· 2024-12-10精选AI 评分73

Spk2imgMamba:基于多尺度状态空间模型的脉冲相机图像重建

Spk2imgMamba: spiking camera image reconstruction with multi-scale state space models

AI 导读

基于摘要分析。本文研究脉冲相机连续脉冲流到强度图像的重建,提出以 Mamba 为骨干的轻量网络 Spk2imgMamba,旨在缓解既有方法难以兼顾全局感受野与计算效率的问题。研究对象是视觉传感器产生的脉冲流,而非 EEG 或其他脑信号;摘要介绍的相机采样率为 40,000 Hz,这不是模型推理速度。 方法依次执行时间信息整合、空间特征增强和渐进式图像重建。时间模块在不同时间窗口内积累线索,以兼顾长期与短期上下文;空间模块采用多尺度、多方向扫描的 SSM block,建模全局依赖并增强局部细节表征;最后从增强的光强特征逐步解码强度图像。其机制重点是时间窗口整合与空间扫描的配合,而不是仅将原有骨干替换为 Mamba。具体扫描路径、窗口设置、损失函数及训练方式尚未验证。 作者报告,在合成数据与真实采集数据上的实验达到 SOTA,并称网络参数量仅为对照的 10%、计算量降低近两个数量级。摘要未明确这些资源比例对应的基线、输入设置、计算量口径及重建指标,因此不能据此判断端到端延迟或不同协议下的优势。数据集名称、划分、实验协议、消融及统计信息尚未验证。摘要表示代码将公开,当前可用性与复现依赖尚未核实。 平台推测(待验证):多时间窗口整合可能对应 EEG 中短时瞬态与较长上下文的联合建模,多尺度 SSM 则可能用于时间—通道依赖建模;这只是迁移假设,原领域有效不等于 BCI 有效。原方法依赖具有规则空间结构的像素脉冲流及图像重建目标,EEG 迁移可复用时间整合和 SSM 模块,但需改造通道拓扑、扫描顺序与任务目标。低信噪比、跨被试差异、通道变化及小数据可能使长程整合累积噪声或放大过拟合。一个可检验的小实验是在固定 Cross-subject MI 划分与训练预算下,对比单时间窗口和多时间窗口 SSM,使用相同通道映射,报告 Balanced Accuracy、参数量及计算量,检验多窗口是否带来稳定增益。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其多时间窗口整合与多尺度、多方向 SSM 扫描如何兼顾重建细节和计算效率,但摘要中的性能及资源优势仍需结合具体基线与评估协议验证。

来源:OpenReview · State space models · openreview.net