跳到正文
OpenReview · State space models· Mark Schöne; Neeraj Mohan Sushma; Jingyue Zhuge; Christian Mayr; Anand Subramoney; David Kappel·· 2024-01-01精选AI 评分79

利用深度状态空间模型对神经形态感知信号进行可扩展的逐事件处理

Scalable Event-by-event Processing of Neuromorphic Sensory Signals With Deep State-Space Models

AI 导读

基于摘要分析。研究针对神经形态事件传感器产生的长事件流,提出基于现代递归深度状态空间模型的逐事件处理方法,避免将异步事件聚合为帧。核心贡献是将直接事件建模扩展到百万级事件的训练与推理,同时在若干事件流基准上保持有竞争力的任务性能;主要研究对象是事件感知信号,而非 EEG 或 BCI。 机制上,作者利用状态空间模型的稳定参数化学习长程依赖,利用序列维度的可并行性支持训练,并有效整合异步事件;此外加入新的事件中心技术。摘要未给出这些技术的具体形式、损失函数及训练配置,因此尚不能判断性能提升分别来自模型结构、事件处理策略还是其他配置。训练中的序列并行与推理中的递归处理应分别核对其实现和资源开销。 作者报告,在 Spiking Speech Commands 任务上,性能达到 88.4%,相对既有最佳结果的提升原文表述为 7.7%;摘要未明确该数值的指标名称、提升是相对百分比还是百分点,以及数据划分和对照配置,不能自行转换。作者报告,在 DVS128-Gestures 上,不使用帧或卷积神经网络也获得有竞争力的结果。作者声称,这是首次以完全事件化处理和纯递归网络在多个事件基准上达到最佳水平;这一优先性与比较范围尚未独立核实。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将连续 EEG 转换为异步事件序列,该方法可能为长时程信号的递归建模提供可复用模块,但这依赖一个尚未证实的假设——事件编码能保留任务相关信息。状态空间递归模块可作为候选,事件编码与多通道表示则需改造;低信噪比可能产生大量伪事件,跨被试幅值差异可能改变事件密度,小数据也可能不足以训练深层模型。可在固定被试内划分与同等训练预算下,对比连续 EEG 输入和事件编码输入,检验任务指标、延迟及事件阈值敏感性。已有 EEG 相关工作尚未检索确认,这一建议不构成已验证的迁移效果。

阅读价值

值得核对其深度状态空间模型如何在不转为帧的条件下实现百万级事件流训练与推理,以及事件中心技术对性能和计算开销的贡献;其 EEG/BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net