跳到正文
OpenReview · State space models· Mark Schöne; Neeraj Mohan Sushma; Jingyue Zhuge; Christian Mayr; Anand Subramoney; David Kappel·· 2024-04-24精选AI 评分79

使用深度状态空间模型对神经形态感知信号进行可扩展的逐事件处理

Scalable Event-by-event Processing of Neuromorphic Sensory Signals With Deep State-Space Models

AI 导读

基于摘要分析。本文研究神经形态事件传感器产生的长事件流,提出基于现代循环深度状态空间模型的逐事件处理方法,旨在避免事件转帧损失时间信息,并突破直接处理事件时的规模限制。原论文的主要对象是事件式感知任务,而非 EEG 或 BCI。 核心机制是利用状态空间模型的稳定参数化学习长程依赖,利用序列维度的可并行性支持训练,并整合异步事件。作者另提出以事件为中心的技术,但摘要未说明具体结构、损失或事件编码方式。作者报告,模型在训练与推理中可处理百万级事件流,相比摘要所述既有方法通常处理数千时间步的范围具有更高扩展能力;具体资源消耗、吞吐量和延迟尚未验证。 作者报告,在 Spiking Speech Commands 任务上达到 87.1%,并将相对既有最佳结果的提升表述为 6.6%;摘要未明确指标名称及该提升是否指百分点,因此不作换算。在 DVS128-Gestures 上,作者报告无需转帧或使用卷积神经网络即可获得有竞争力的结果。其关于纯循环、全事件处理达到多个基准最佳水平的表述属于作者结论;数据划分、对照基线、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 可被编码为保留时间与通道信息的异步事件序列,该方法可能用于探索长时序建模和稀疏更新。可复用部分是循环状态更新及长序列建模机制;需改造事件编码与通道表示。原方法依赖事件式数据,不能直接等同于对连续 EEG 波形有效,事件化可能丢失低幅信号,噪声可能产生冗余事件,被试与通道差异及小数据也可能削弱收益。一个可检验的小实验是在固定被试内划分和同一状态空间骨干下,对比连续 EEG 输入与阈值事件化输入,检验任务表现及计算开销随阈值的变化。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其深度状态空间模型如何在不转为帧的条件下扩展到百万级事件流;这一机制可为异步神经信号处理提供方法参考,但 EEG/BCI 迁移效果尚未验证。

来源:OpenReview · State space models · openreview.net