推动脉冲神经网络迈向深度残差学习
Advancing Spiking Neural Networks Toward Deep Residual Learning
基于摘要分析。本文研究脉冲神经网络(SNN)的深度扩展与表征能力问题,提出面向 SNN 的残差架构 MS-ResNet,通过基于膜电位的捷径改善信息与梯度传播;主要研究对象是图像分类及神经形态数据处理,而非 EEG 或 BCI。 核心机制:作者指出,将普通 ResNet 直接改为脉冲版本可能阻碍信息流并引发退化。MS-ResNet 引入基于膜电位的捷径,并借助 block dynamical isometry 理论分析梯度范数等式成立的条件,以支持对深度不敏感的训练行为。摘要未提供具体神经元动力学、捷径运算、训练损失及理论假设,尚需全文核对。 作者报告,在直接训练 SNN 的设置下,网络可扩展至 CIFAR-10 上的 482 层及 ImageNet 上的 104 层,且未观察到退化;MS-ResNet104 在 ImageNet 上取得 76.02% Accuracy。作者将该结果称为其所知直接训练 SNN 中的最高水平,但比较范围、数据划分、训练预算与基线配置尚未验证。作者还报告,分类一个输入样本平均每个神经元仅需一次脉冲;这一活动量指标不能单独等同于实际硬件能耗,测量口径、时间步数及硬件条件仍需核对。摘要提及帧式与神经形态数据集实验,但未列出后者名称;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其潜在可复用部分是面向脉冲动力学的残差捷径,而非已验证的 EEG 表征。若用于 EEG 分类,需改造时序输入编码及读出模块,并检验图像任务上的梯度传播优势能否缓解深层 EEG SNN 的训练困难。低信噪比、通道差异、跨被试分布偏移和小数据过拟合均可能使收益消失。可在固定 EEG 数据划分、时间步数与训练预算下,对照普通脉冲残差结构与膜电位捷径,观察随深度变化的 Accuracy、梯度范数及脉冲活动量。该迁移仅是假设,已有 EEG 相关工作尚未检索确认。
值得关注其基于膜电位的残差捷径与梯度传播分析,为深层 SNN 的退化问题提供了可核对的机制解释,但其在 EEG/BCI 上的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net