P-SpikeSSM:利用概率脉冲状态空间模型处理长程依赖任务
P-SpikeSSM: Harnessing Probabilistic Spiking State Space Models for Long-Range Dependency Tasks
基于摘要分析。本文研究通用序列学习中的长程依赖问题,提出概率脉冲状态空间模型框架 P-SpikeSSM,旨在缓解 leaky integrate-and-fire(LIF)神经元标量膜电位表示受限、脉冲生成依赖顺序计算的问题;其主要研究对象并非 EEG 或 BCI。 机制上,SpikeSampler 层基于 SSM 神经元模型随机采样脉冲,替代 LIF 中依赖确定性 Heaviside 函数的脉冲生成方式,并允许并行计算。为处理脉冲操作的不可微性,作者设计了适配随机采样的替代梯度函数。SpikeMixer block 汇聚各层神经元群体的脉冲以促进神经元间通信,随后由包含残差连接的 ClampFuse 层进一步建模复杂依赖。摘要未给出状态更新方程、采样分布、替代函数形式及训练细节。 作者报告,在 Long Range Arena 的多种长程依赖任务上,该模型达到 SNN 模型中的最先进表现,并呈现稀疏脉冲模式。摘要未提供具体任务、数据划分、对照模型及指标数值;实验协议、消融及统计信息尚未验证。稀疏脉冲模式本身不足以量化运行时间、内存或能耗收益,仍需核对实现与硬件条件。 平台推测(待验证):若 SSM 状态确能保留长时序信息、随机脉冲化又不损失弱信号,该机制可能用于 EEG 长时间窗建模。可复用候选为 SSM 状态更新、SpikeSampler 与替代梯度,需改造输入编码和通道融合方式;原方法对监督方式与训练规模的依赖尚未验证。低信噪比下弱 EEG 成分可能被脉冲化丢失,跨被试分布变化、通道差异及小数据也可能使采样与训练不稳定。一个可证伪的小实验是在固定 EEG 数据划分和相近参数预算下,对比非脉冲 SSM 与 P-SpikeSSM,联合考察任务指标、时间窗长度敏感性、脉冲稀疏度及实际运行开销。相关 EEG 工作尚未检索确认。
值得核对其如何以 SSM 神经元、随机脉冲采样和配套替代梯度缓解 SNN 的长程依赖与并行训练瓶颈,但稀疏脉冲能否转化为实际计算收益及 EEG 适用性尚未验证。
来源:OpenReview · State space models · openreview.net