Controlled-Minimax:通过控制理论稳定对抗优化
Controlled-Minimax: Stabilizing Adversarial Optimization via Control Theory
基于摘要分析。本文研究对抗学习中极小极大优化的持续极限环与发散问题,提出 Controlled-Minimax,将优化轨迹视为可控制的物理系统,通过反馈控制稳定训练;主要研究对象是通用极小极大问题及 GAN 训练,而非 EEG 或 BCI。 机制上,作者将训练动力学建模为二阶常微分方程(ODE),并将平衡点附近的不收敛归因于损失函数 Hessian 的不利特征结构。与启发式正则化不同,该方法从动力系统分析中推导反馈控制器。作者声称,在其理论设定下,无论底层 Hessian 谱如何,都可保证局部指数稳定性。该结论仍是局部性质,不能据此推断任意初始化下的全局收敛;控制器形式、定理假设及连续时间保证如何对应离散更新尚未验证。 作者报告,在 Dirac-GAN、2D Gaussian mixtures、Swiss Roll 等病态基准,以及采用 StyleGAN2-ada 的高分辨率图像合成实验中,方法能够抑制振荡并实现快速、稳健的收敛。摘要未提供具体数值、评估指标与完整基线配置,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 域适应中的特征提取器与域判别器构成可微极小极大目标,该反馈稳定机制可能用于缓解对抗训练振荡;这是机制对应假设,不是已证实的 BCI 效果。可考虑复用控制更新思想,但需适配随机小批量梯度、网络参数规模及域判别目标。低信噪比、跨被试差异和小样本可能使梯度噪声或估计误差削弱局部稳定性收益。一个可证伪的小实验是在固定跨被试划分、模型和调参预算下,对比原始对抗优化与控制更新,同时检查训练振荡和目标被试 Accuracy,避免将优化更平稳等同于泛化更好。相关 EEG 工作尚未检索确认。
值得核对其反馈控制器如何将极小极大训练的局部稳定性分析转化为可实现的优化更新,尤其是理论保证的适用条件与离散训练中的振荡抑制效果。
来源:arXiv · 学习目标与优化 · arxiv.org