跳到正文
OpenReview · State space models· Chengjie Ge; Xueyang Fu; Peng He; Kunyu Wang; Chengzhi Cao; Zheng-Jun Zha·· 2025-01-01精选AI 评分73

EventMamba:利用状态空间模型增强事件视频重建中的时空局部性

EventMamba: Enhancing Spatio-Temporal Locality with State Space Models for Event-Based Video Reconstruction

AI 导读

基于摘要分析。本文研究事件视频重建(Event-Based Video Reconstruction,EBVR),提出 EventMamba,旨在保留 Mamba 全局建模能力的同时,减少窗口划分和序列扫描对事件数据时空局部关系的破坏;其主要研究对象是事件视觉数据,而非 EEG 或 BCI。 作者认为,EBVR 需要空间平移不变性,并依赖时空邻近事件之间的联系,而传统 Mamba 视觉方法采用固定窗口划分及常规 reshape 扫描,可能损失局部连接。EventMamba 引入两项机制:空间域的 random window offset(RWO,随机窗口偏移),用于摆脱固定分区的限制;时空域的 consistent traversal serialization(一致遍历序列化),用于在序列化过程中保留相邻事件的空间与时间邻近性。摘要未说明窗口偏移的采样规则、遍历算法、训练损失及推理实现,这些细节尚未验证。 作者报告,在多个数据集的事件视频重建测试中,EventMamba 相比 Transformer 方法提升了重建视觉质量与计算速度。摘要未提供数据集名称、划分、对照模型配置、量化指标及运行硬件,因此无法判断收益幅度或公平比较条件;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移的机制是通过窗口与序列化设计保留局部关系,而非事件视频重建效果本身。假设 EEG 状态空间模型的通道—时间序列化也会破坏有意义的邻近关系,可复用局部性保持思路,但需将事件空间邻接改为电极拓扑与时间邻接,并重新设计窗口和遍历规则。低信噪比、跨被试差异、通道缺失及小数据条件可能削弱收益。一个可证伪的小实验是在相同 EEG 数据划分、训练预算及状态空间骨干下,仅替换固定序列化与拓扑局部性保持序列化,比较同一指标并检查通道扰动敏感性。已有 EEG 相关工作尚未检索确认,该假设不构成已验证的 BCI 效果。

阅读价值

值得核对其随机窗口偏移与一致遍历序列化如何保留事件数据的时空局部关系,但摘要中的重建质量及速度优势尚需结合完整实验协议验证。

来源:OpenReview · State space models · openreview.net