跳到正文
arXiv · 架构与算子· Francesco Panetta; Federico Di Valerio; Michela Proietti·· 1 天前AI 评分65

深层脉冲神经网络持续学习中的显著性引导回放

Saliency-Guided Replay for Continual Learning in Deep Spiking Neural Networks

AI 导读

基于摘要分析。该研究针对 Spiking Neural Networks(SNNs)在顺序学习任务时的灾难性遗忘问题,在低延迟约束下引入 Experience Packing and Replay(EPR),以显著性引导的图像块回放代替完整图像存储,探索更节省记忆存储的持续学习策略。原论文的主要研究对象是视觉任务中的深层 SNNs,而非 EEG 或 BCI。 核心机制是将采用 Batch Normalization Through Time 稳定训练的 VGG9 SNNs 与 Spike Activation Maps(SAM)结合。SAM 根据脉冲活动生成仅需前向计算的解释,再沿时间聚合为空间注意力图,据此选择信息量较高的图像块用于回放。其方法价值在于将脉冲活动解释与回放样本压缩连接起来;具体选择规则、回放训练方式、损失函数与低延迟设置尚未验证。 作者报告,在 Split CIFAR10 和 Split CIFAR100 的顺序任务实验中,SAM 引导的 EPR 在严格存储预算下改善了准确率—存储权衡,并在显著减少存储需求的同时保持竞争力。摘要未提供具体数值、任务划分、对照基线或存储核算方式,实验协议、消融及统计信息尚未验证,不能据此量化改进幅度或判断各模块的独立贡献。 平台推测(待验证):若 EEG 持续学习系统采用 SNNs,并能将脉冲活动定位到有意义的时间片段或通道,则可检验活动引导的局部回放能否缓解跨会话遗忘。可复用的是显著性引导的记忆压缩思路;需要改造视觉空间图像块选择与 EEG 时序、通道结构之间的映射。低信噪比下的显著性可能捕获伪迹,局部裁剪也可能破坏跨通道或长时程信息,小数据条件下选择稳定性亦需核对。一个小规模可证伪实验是:在固定 EEG 跨会话顺序、相同存储预算及训练设置下,对比活动引导片段回放、随机片段回放与完整试次回放,检验其遗忘程度及性能—存储权衡。已有 EEG 相关工作尚未检索确认。

来源:arXiv · 架构与算子 · arxiv.org