跳到正文
arXiv · 架构与算子· Kai Sun; Peibo Duan; Zhanglu Yan; Guowei Zhang; Yongsheng Huang; Levin Kuhlmann·· 4 天前精选AI 评分81

SpikeQ:面向脉冲神经网络的脉冲引导训练后量化

SpikeQ: Spike-Guided Post-Training Quantization for Spiking Neural Networks

AI 导读

基于摘要分析。本文研究神经形态芯片上脉冲神经网络(SNN)的低比特权重与膜电位量化,提出无需重新训练的训练后量化(PTQ)框架 SpikeQ,以脉冲错误而非单纯数值误差指导量化,并针对芯片的发放前膜电位存储设计量化网格。 作者报告,相同均方误差(MSE)的量化扰动可能造成不同的准确率损失,而翻转相同比例脉冲的扰动产生相同损失;这一观察的具体适用范围尚待全文核对。权重量化通过模拟下游神经元,为各权重选择使脉冲错误最小的量化级别。膜电位量化则区别于复位后量化:针对芯片以固定比特宽度存储膜电位、再进行阈值比较的过程,构建复位感知网格,将阈值置于舍入边界,使舍入不翻转当前时间步的脉冲。 作者在图像分类、语义分割和目标检测共七个基准上评估。作者报告,在 2-bit 发放前膜电位设置下,所比较的现有量化网格均出现性能崩溃,而 SpikeQ 保留了大部分全精度准确率;权重与膜电位均为 4-bit 时,模型相对全精度的性能差距不超过 2.59 个点,内存占用缩减 7.8–7.9 倍,能耗降低 6.4–6.9 倍。具体数据集、各任务指标、校准数据规模、基线配置、能耗测量或估算方式,以及消融和统计信息尚未验证。 平台推测(待验证):若 EEG 解码系统已采用 SNN 并计划部署至低比特神经形态硬件,可复用脉冲错误驱动的权重校准思路,但膜电位网格需适配神经元复位规则及硬件执行顺序。低信噪比、跨被试分布变化和小规模校准数据可能使校准期脉冲误差不能代表测试期解码性能。可在同一冻结的 EEG SNN、相同校准数据与比特预算下,对比 MSE 导向 PTQ 与 SpikeQ,同时记录脉冲翻转率和解码指标,以检验机制是否成立;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以脉冲翻转而非数值误差指导量化的机制,以及发放前膜电位量化与芯片执行顺序的对应关系;摘要中的低比特效果来自视觉任务,尚不能视为 EEG/BCI 有效性证据。

来源:arXiv · 架构与算子 · arxiv.org