跳到正文
arXiv · 架构与算子· Kaixiang He; Yujie Wu·· 2 天前精选AI 评分80

FidLIF:基于精确 BPTT 的高保真脉冲神经元并行训练

FidLIF: Parallel Training of High-Fidelity Spiking Neurons with Exact BPTT

AI 导读

基于摘要分析。FidLIF 针对脉冲神经网络(SNN)中膜电位递归动力学导致长序列训练难以并行的问题,提出兼顾 LIF 神经元增量更新、硬重置行为与全序列并行训练的框架,并支持部署时逐步推理。其主要研究对象是 SNN 的训练计算机制,而非 EEG 或 BCI 任务。 核心机制是迭代恢复完整序列的膜电位轨迹,利用 LIF 局部递归产生的下双对角结构,将每次前向轨迹修正及反向伴随传播表达为关联扫描,使这些扫描具有 O(log T) 的时间维计算深度,其中 T 为序列长度。该深度不应直接理解为包含全部迭代的端到端训练复杂度。摘要还指出,框架支持依赖输入的神经元参数,同一神经元可用于全序列并行训练和部署时的增量执行。 作者将既有并行方法概括为两类:通过重设计或近似脉冲动力学消除重置耦合,以及采用迭代松弛不动点求解器。FidLIF 的贡献主张是在保留目标动力学的同时,降低并行求解与反向传播的开销;具体对照实现、迭代停止条件及梯度等价的适用范围尚未验证。 作者报告,在数值收敛评估中,相对于匹配的串行松弛 LIF 动力学,膜电位轨迹的平均绝对误差低于 10⁻⁷,且梯度与精确 BPTT 数值等价。作者还报告,Triton 实现在长序列延迟和内存扩展性方面表现有利,并在四个序列分类基准上取得有竞争力的表现。摘要未提供基准名称、划分、具体分数、硬件及加速比例,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 解码使用带局部 LIF 递归的 SNN,关联扫描可能缓解长时间窗训练的串行瓶颈;这不意味着解码性能或部署能耗已得到改善。可复用部分是轨迹求解与伴随扫描,仍需适配 EEG 输入编码、通道组织和任务监督。低信噪比、跨被试差异及小数据可能使分类收益不足,输入驱动的脉冲模式也可能影响迭代收敛。一个可检验的小实验是在固定 EEG 数据划分、模型和监督条件下,对比串行实现与 FidLIF 的轨迹误差、梯度差异、训练延迟、峰值显存及分类表现,并单独核对跨被试泛化。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其关联扫描如何同时保留 LIF 的硬重置动力学、实现与串行 BPTT 数值等价的梯度,并改善长序列训练开销;摘要中的收敛误差参照是匹配的串行松弛 LIF 动力学,具体等价条件仍需全文验证。

来源:arXiv · 架构与算子 · arxiv.org