跳到正文
OpenReview · State space models· Ching-Hsun Tseng; Liu-Hsueh Cheng; Shin-Jye Lee; Xiao-Jun Zeng·· 2022-01-01精选AI 评分72

用于深度学习的单位空间内扰动梯度更新

Perturbed Gradients Updating within Unit Space for Deep Learning

AI 导读

基于摘要分析。本文以图像分类中的深度学习优化为研究对象,提出 Perturbed Unit Gradient Descent(PUGD),将张量梯度归一化与扰动操作结合,在单位空间中进行参数更新,旨在控制更新幅度并引导模型到达平坦极小值。 机制方面,作者报告 PUGD 的更新具有局部有界性,即相邻更新受到控制;作者将其寻找平坦极小值的能力归因于梯度归一化避免停驻点的特性,以及在单位球内探查尖锐度。摘要未提供具体更新公式、扰动构造、归一化粒度或额外梯度计算成本,这些机制的实现与理论条件尚需全文核对。 结果方面,作者报告在 Tiny ImageNet 图像分类实验中取得其所称的 SOTA Top-1 Accuracy,并在 CIFAR-10、CIFAR-100 上取得有竞争力的表现。摘要未给出具体分数、模型架构、数据划分、对照优化器及训练预算,因而不能据此判断提升幅度或不同优化器比较的可比性。实验协议、消融及统计信息尚未验证。材料提供了公开代码地址,但实现细节与复现条件尚未核对。 平台推测(待验证):若单位空间内的更新控制与局部尖锐度探查能缓解 EEG 模型训练中的优化不稳定,PUGD 可作为现有分类网络的优化器替换候选,而非新的 EEG 表征方法。可复用的是优化更新机制;需核对其对不同参数张量尺度、低信噪比梯度及小样本训练的适应性,并重新选择扰动和学习率设置。归一化可能削弱有用的梯度幅值信息,扰动也可能放大噪声,图像分类结果不保证跨被试泛化收益。一个可检验的小实验是在固定 EEG 模型、被试划分和调参预算下比较 PUGD 与常用优化器,分别报告被试内和跨被试 Accuracy、重复运行波动及计算成本。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 PUGD 的单位空间扰动与梯度归一化如何共同约束更新、探索平坦极小值,以及这些机制相对常用优化器的实际收益;其 EEG/BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net