跳到正文
OpenReview · State space models· Nikola Zubic; Mathias Gehrig; Davide Scaramuzza·· 2024-01-01精选AI 评分80

用于事件相机的状态空间模型

State Space Models for Event Cameras

AI 导读

基于摘要分析。本文研究事件相机视觉模型在推理频率高于训练频率、事件聚合时间窗因而缩小时的性能退化,提出带可学习时间尺度参数的状态空间模型(SSMs),以适应不同输入频率而无需针对各频率重新训练。主要研究对象是事件相机数据,而非 EEG 或 BCI。 现有方法通常先将时间窗内的事件转换成稠密网格表示;时间窗变化会改变模型接收的时序信息。作者将可学习时间尺度引入 SSM,并研究两种应对高频推理混叠效应的策略。摘要未说明时间尺度的参数化方式、状态更新规则及两种抗混叠策略的具体实现,实验协议、消融及统计信息尚未验证。 作者报告,在包括 Gen1 和 1 Mpx 事件相机数据集的评估中,与 RNN、Transformer 架构方法相比,SSM 模型训练快 33%;在推理频率高于训练输入频率的条件下,传统 RNN 和 Transformer 的性能下降超过 20 mAP,而 SSM 的下降为 3.76 mAP。摘要未提供这些数值对应的具体数据集、训练与测试频率、数据划分、基线配置及训练耗时测量条件,不能将其推广到所有基准或解释为相对百分比变化。 平台推测(待验证):可学习时间尺度可能对应 EEG 中时间窗长度或流式更新间隔变化带来的时序建模问题,但事件相机的异步事件结构与连续、多通道 EEG 不同,原领域结果不构成 BCI 有效性证据。潜在可复用部分是时间尺度调节与抗混叠思路,输入编码、通道融合及任务读出需改造;低信噪比、跨被试差异和小数据可能削弱其优势。一个可检验的假设是在固定 EEG 数据划分与预处理下,以同一更新间隔训练、多个更新间隔测试,对照常规时序模型,并消融时间尺度调节,观察性能退化是否减小。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其可学习时间尺度与抗混叠策略如何改善训练、推理频率不一致时的泛化,但摘要中的效率和 mAP 结果仍需结合具体频率、基线与测量协议验证。

来源:OpenReview · State space models · openreview.net