跳到正文
OpenReview · State space models· Malyaban Bal; Abhronil Sengupta·· 2024-01-01精选AI 评分77

将脉冲神经网络重新理解为状态空间模型

Rethinking Spiking Neural Networks as State Space Models

AI 导读

基于摘要分析。本文研究脉冲神经网络(SNN)在序列学习中建模长程依赖与扩展规模的困难,提出基于状态空间模型(SSM)的概率脉冲学习框架。原论文的主要对象是通用长程依赖任务,而非 EEG 或 BCI。 核心机制:作者认为,传统漏积分发放(LIF)神经元以标量膜电位表示隐状态,并通过确定性的 Heaviside 函数逐步产生脉冲,限制了长程建模与并行计算。所提出的 SpikeSampler 层根据基于 SSM 的神经元模型随机采样脉冲,同时支持并行计算;针对脉冲操作不可微的问题,作者设计了适配随机采样性质的替代函数。SpikeMixer block 汇聚各层神经元群体的脉冲,以增强神经元间通信,随后通过含残差连接的 ClampFuse 层捕捉复杂依赖。具体状态更新、采样分布、替代函数形式及训练目标尚未验证。 结果与证据:作者报告,在 Long Range Arena、permuted sequential MNIST 和 Speech Command dataset 的长程依赖任务中,该框架达到 SNN 模型中的最先进性能,并呈现稀疏脉冲模式。摘要未提供具体指标、数据划分、对照模型或计算开销数值;稀疏性不能直接等同于已测得的运行速度或能耗优势。实验协议、消融及统计信息尚未验证,复现所需实现、超参数和资源条件也尚未确认。 平台推测(待验证):可检验的迁移假设是,SSM 的长程状态建模与并行随机脉冲机制可能适用于长时间 EEG 序列。可考虑复用 SpikeSampler、SpikeMixer 与残差融合机制,但需改造连续多通道 EEG 的输入编码和任务输出,并核对其对序列长度、监督信号及训练规模的依赖。低信噪比可能使随机脉冲采样丢失弱信号,被试差异、通道变化和小数据也可能削弱收益。一个小规模检验是:在固定 EEG 任务、相同被试内划分及训练预算下,与 LIF-SNN 和非脉冲 SSM 对照,同时记录任务指标、脉冲率与实测延迟,检验是否兼得预测性能和计算收益。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以状态空间模型支持并行脉冲采样及随机脉冲训练的机制,尤其是长程依赖性能与脉冲稀疏性是否能转化为实际计算收益;EEG 适用性尚未验证。

来源:OpenReview · State space models · openreview.net