基于条件信息瓶颈的脉冲神经网络鲁棒表征学习
Robust Representation Learning for Spiking Neural Networks based on Conditional Information Bottleneck
基于摘要分析。本文针对脉冲神经网络(SNNs)在输入扰动、硬件内在噪声及对抗攻击下的脆弱性,提出基于 Conditional Information Bottleneck 的鲁棒学习目标 SCIB;主要研究对象是图像分类 SNN,而非 EEG/BCI。 作者的信息平面分析显示,在标签预测信息趋于稳定后,常规交叉熵训练的 SNN 隐表征仍可能保留较多输入相关信息,作者据此将鲁棒性不足部分归因于输入特异性表征。SCIB 将传统变分信息瓶颈中的互信息压缩项 I(X;S) 替换为条件互信息 I(X;S|Y),并推导可计算的变分上界;同时使用可学习的类别条件先验,替代不区分类别的各向同性高斯先验,与监督分类目标结合,促进具有类别结构的表征。具体上界、分布参数化和优化设置尚未验证。 作者报告,在 Fashion-MNIST、CIFAR-10 和 CIFAR-100 上,针对外部环境噪声、神经形态硬件噪声及对抗攻击的评估中,SCIB 在多数所测噪声条件下优于标准 SNN 和基于信息瓶颈的基线,并在未采用对抗训练的情况下提高了所测攻击下的对抗准确率。作者另报告,相对无约束 SNN 基线,基于 SynOps 估算的单样本推理能耗降低 24.9%;该数值不应等同于实测硬件功耗,摘要未给出其具体数据集与配置归属。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 分类中的被试或会话干扰对应于给定标签后仍保留的输入信息,条件压缩可能有助于抑制这类干扰。可复用部分是条件信息瓶颈目标与类别条件先验;需改造 EEG 输入编码和时序表征,并依赖任务标签估计类别结构。低信噪比、小数据及跨被试差异可能使压缩误删有效信号,或使先验难以泛化。一个可检验的小实验是在相同 EEG 编码、SNN 主干和跨被试划分下,对比交叉熵、常规信息瓶颈与 SCIB,同时评估分类表现、受控噪声下的性能变化及 SynOps。已有 EEG 相关工作尚未检索确认。
SCIB 以条件互信息压缩和可学习类别条件先验改善 SNN 表征,为核对鲁棒性与脉冲计算开销之间的关系提供了具体方法,但其 EEG/BCI 适用性尚未验证。
来源:arXiv · 架构与算子 · arxiv.org