休眠脉冲神经元:面向高效脉冲神经网络的状态驱动机制
The Dormant Spiking Neuron: A State-Driven Mechanism for Efficient Spiking Neural Networks
基于摘要分析。本文研究脉冲神经网络(SNNs)中突触后神经元持续进行阈下动态更新所产生的计算开销,提出 Dormant Spiking Neuron(DSN),通过可训练的状态驱动休眠机制减少冗余计算,而非仅依赖突触前输入稀疏性。 核心机制是引入动态门控:当膜电位低于预设负阈值时,神经元进入休眠状态,在样本实例层面跳过冗余计算。该机制直接融入神经元动态,并通过替代梯度与时间反向传播进行端到端训练。作者认为,网络可由此学习在节省计算的同时保留关键信息流。休眠期间保留哪些状态更新、如何唤醒及阈值如何设定,摘要未说明,尚待全文核对。 作者报告,在 ImageNet 上训练的 ResNet-18 中,深度受抑制神经元的占比最高可达 44%。在静态及神经形态数据集实验中,作者报告计算能耗降低 40% 至超过 70%;摘要未给出各数据集、模型与能耗口径的对应关系。在 ImageNet 实验中,作者报告 DSN 在相近的所报告成本降幅下优于先进静态剪枝技术,并使对应基线 SNN 的准确率提升 1.34%;该数值是否指百分点、具体基线及评估协议尚未验证。计算能耗估计不能直接等同于硬件实测节能。 平台推测(待验证):若 EEG 任务采用需要持续更新膜电位的 SNN,DSN 可能减少低放电概率单元的更新开销;可复用部分是状态门控及其训练机制,需改造部分包括 EEG 输入编码与任务网络的适配。风险在于低信噪比、小数据及跨被试分布变化可能使休眠策略抑制微弱但有效的信号。一个可检验的小实验是,在固定 EEG 数据划分、编码和训练预算下,对比原始 SNN 与加入 DSN 的版本,分别记录任务指标、状态更新次数和实测能耗,检验节能是否以性能损失为代价。已有 EEG 相关工作尚未检索确认;完整实验协议、消融及统计信息尚未验证。
值得核对的是 DSN 能否通过可训练的膜电位状态门控减少阈下计算,以及其能耗收益在何种计量口径下成立;摘要尚不足以确认实际硬件收益或 EEG 适用性。
来源:arXiv · 架构与算子 · arxiv.org