通过相似度敏感对比学习增强脉冲神经网络的表征
Enhancing Representation of Spiking Neural Networks via Similarity-Sensitive Contrastive Learning
基于摘要分析。本文研究脉冲神经网络(SNN)的二值脉冲表征相较于常规人工神经网络(ANN)可能损失表达能力的问题,提出相似度敏感对比学习框架,通过逐层互信息最大化,使 SNN 从对应 ANN 中获取更丰富的特征信息。这里的 MI 指 Mutual Information(互信息),并非运动想象。 核心机制是构造跨 ANN 与 SNN 的特征配对:拉近同一输入样本在两类网络对应层中的正样本对,推远不同输入样本形成的负样本对,并引入逐层的相似度敏感性。摘要未说明相似度敏感性的具体定义、互信息估计方式、损失公式、层间对应关系,以及 ANN 是否固定或联合训练。 作者报告,该方法在常用非脉冲静态数据集与神经形态数据集上均优于其比较的现有先进算法;摘要未列出数据集名称、评估指标、数值、划分或基线,因此无法判断增益幅度与适用边界。二值脉冲带来的计算节能是研究动机,不能据此认定本文已验证实际硬件能耗优势。实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设 EEG 分类中的 SNN 同样存在表征压缩瓶颈,可尝试复用 ANN–SNN 的逐层对比约束;需要改造 EEG 输入编码与层间特征对齐,并核对负样本是否把同类别或相近脑状态错误推远。该机制依赖可配对输入、可对应的中间表征及有信息量的 ANN 教师,小数据、低信噪比和跨被试差异可能使教师偏差随之传递。一个可证伪的小实验是在固定跨被试划分下,比较同一 SNN 有无该约束的分类表现,并仅用训练被试训练 ANN,以检验跨被试收益是否存在。以上并非论文已验证的 EEG 结果,已有 EEG 相关工作尚未检索确认。
值得核对其逐层相似度敏感对比学习如何将 ANN 表征迁移至 SNN,以及增益是否依赖教师质量;摘要未提供定量结果,EEG/BCI 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net