随机逐层学习:反向传播的可扩展高效替代方法
Stochastic Layer-wise Learning: Scalable and Efficient Alternative to Backpropagation
基于摘要分析。本文研究通用深度网络训练中全局梯度同步、内存开销与局部学习协调性之间的矛盾,提出 Stochastic Layer-wise Learning(SLL),将网络级目标分解为相互协调的逐层局部更新,以消除跨层反向传播并保持全局表征一致性;主要研究对象并非 EEG 或 BCI。 机制上,SLL 在网络满足 Markov 假设的条件下借鉴 ELBO,将网络级目标分解为逐层项,每层通过确定性编码器优化局部目标。对于难以处理的 ELBO 中的 KL 项,方法采用 Bhattacharyya 替代项,其计算依赖固定的保几何随机投影所产生的辅助类别后验;可选的乘性 dropout 用于随机正则化。其关键区别在于不仅采用局部更新,还试图通过这些局部目标维持跨层协调。该替代目标与原网络目标的对应条件及理论保证仍需查阅全文。 作者报告,在涵盖 MNIST 至 ImageNet、涉及 MLP、CNN 和 Vision Transformer 的实验中,SLL 超过近期局部学习方法,达到与全局 BP 相当的性能,且内存使用不随网络深度变化。摘要未提供具体分数、基线配置、训练预算或内存统计范围,不能据此判断不同架构上的收益幅度;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 解码的训练瓶颈确为跨层梯度存储,逐层局部优化可能降低训练内存需求,但通用视觉任务结果并不等于 BCI 有效性。可复用部分是局部目标与辅助后验构造,需核对其对 EEG 编码器、监督形式及数据规模的要求,并适配输入和任务输出。低信噪比、通道差异、跨被试分布偏移和小样本可能削弱随机投影及局部目标保留任务信息的能力。一个可检验的假设是:在固定 EEG 数据划分、骨干网络、训练预算和调参预算下,SLL 能在降低峰值训练内存的同时保持接近 BP 的解码性能;可先分别比较被试内与跨被试协议,并记录同一任务指标、峰值内存及训练耗时。已有 EEG 相关工作尚未检索确认。
值得核对的是,SLL 如何通过局部目标维持跨层表征协调,以及作者报告的接近全局 BP 性能和内存不随深度增长是否在相同训练协议与内存统计口径下成立。
来源:OpenReview · Representation learning · openreview.net