神经网络的逐层 Bregman 表征学习及其在知识蒸馏中的应用

该研究针对已训练神经网络的逐层表征学习，提出适配各层传递函数非线性的 Bregman 表征压缩方法，并将其用于知识蒸馏：学生网络预测教师表征的压缩系数，再将系数输入导入的固定非线性层。基于摘要分析，未取得论文全文。 核心机制是利用层传递函数所诱导的凸函数构造 Bregman 散度，并扩展原有 Bregman PCA：引入均值向量，同时修改主方向的归一化约束。这些调整使学习到的表征能够导出为带非线性的固定层。与仅学习教师软标签不同，该方法把学生网络的学习目标转为教师表征压缩系数的预测。 作者报告，在其知识蒸馏实验中，该方法的信息迁移效果明显优于使用教师软标签的典型师生训练。摘要未提供数据集、网络结构、压缩维度、评估指标及具体数值，因此无法判断收益幅度和适用范围；实验协议、消融及统计信息尚未验证。复现时需核对传递函数对应凸函数的构造条件、修订后的约束、系数预测目标，以及固定层导入学生网络的具体方式。 平台推测（待验证）：若已有训练好的 EEG 教师网络，且其层传递函数满足该构造的适用条件，可假设通过压缩中间表征辅助小型学生网络学习，有望提供软标签之外的监督。可复用部分是逐层 Bregman 压缩及系数预测思路，需适配 EEG 层表征的张量组织方式与压缩维度；其依赖可提取的教师表征，所需数据规模尚未验证。低信噪比、通道变化和跨被试差异可能使压缩方向保留噪声或被试特征，小数据条件下系数预测也可能不稳定。一个可检验的小实验是在同一 EEG 任务、同一 Cross-subject 划分及相同学生容量下，对照软标签蒸馏与系数预测蒸馏，检验其在预先指定任务指标上的收益。已有 EEG 相关工作尚未检索确认。