P-SPIKESSM:利用概率脉冲状态空间模型处理长程依赖任务
P-SPIKESSM: HARNESSING PROBABILISTIC SPIKING STATE SPACE MODELS FOR LONG-RANGE DEPENDENCY TASKS
基于摘要分析。该研究面向通用序列学习中的长程依赖问题,提出概率脉冲状态空间模型 P-SPIKESSM,尝试缓解传统 leaky integrate-and-fire(LIF)神经元标量膜电位表示能力有限、脉冲生成依赖顺序计算的限制;其主要研究对象并非 EEG 或 BCI。 机制上,作者以状态空间模型(SSM)构建神经元模型,通过 SpikeSampler 层随机采样脉冲,并支持并行计算,区别于 LIF 使用确定性 Heaviside 函数生成脉冲的过程。针对脉冲操作的不可微性,作者提出适配随机采样性质的替代函数以支持训练。SpikeMixer block 用于整合每层神经元群体的脉冲,随后由带残差连接的 ClampFuse 层捕获复杂依赖、支持模型扩展。具体状态更新、采样分布、替代函数形式及训练损失尚未验证。 作者报告,在 Long Range Arena、permuted sequential MNIST 和 Speech Command dataset 的长程依赖任务中,该模型取得 SNN 模型范围内的最先进性能,并呈现稀疏脉冲模式。摘要未提供具体指标、数据划分、对照配置或硬件测量,因此尚不能量化性能优势,也不能仅凭脉冲稀疏性确认实际运行时间或能耗收益。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其长程状态表示与稀疏脉冲计算可能对应 EEG 长时间序列建模的需求。迁移假设是,SSM 状态能保留跨时间信息,随机脉冲编码仍能维持任务相关信号;可考虑复用 SpikeSampler、SpikeMixer 和 ClampFuse,但需改造连续多通道 EEG 的输入编码、通道融合及任务输出。低信噪比下随机采样可能丢失微弱判别信息,跨被试差异、通道配置变化及小数据训练也可能削弱效果。可在固定的 EEG 被试内数据划分上,对照匹配训练预算的非脉冲 SSM 与 P-SPIKESSM,检验任务指标、噪声扰动敏感性及实测推理成本,而非将原领域结果直接视为 BCI 有效性证据。已有 EEG 相关工作尚未检索确认。
值得关注其以 SSM 神经元状态、随机脉冲采样和并行计算缓解传统 LIF 序列建模限制的机制,但摘要中的 SNN 性能领先与计算效率主张仍需全文实验核对。
来源:OpenReview · State space models · openreview.net