学习式优化器调度中的乘性与加性状态耦合
Multiplicative vs. Additive State Coupling in Learned Optimizer Schedules
基于摘要分析。本文研究 MAX-CUT 连续罚函数松弛中的优化调度学习,通过对展开的经典求解器反向传播来学习调度,重点比较求解器状态以乘性双线性或加性方式进入调度时的分布外泛化差异;主要研究对象是组合优化,而非 EEG 或 BCI。 作者报告,不依赖求解器状态的调度可以泛化到显著大于训练实例的问题规模;状态自适应的双线性调度也能分布外泛化,并在 15 个随机种子的评估中优于其未训练基线(t=4.1)。使用相同输入与输出头的加性消融,在分布内与双线性模型的差异不具统计显著性,但在分布外劣于其自身基线(t=-11.7)。摘要未给出具体实例规模、性能指标、效应量或检验细节,不能据这些统计量推断实际收益幅度。 作者报告,这种分化在无正则化时出现,并在 30 轮权重衰减扫描中持续存在:双线性模型在每个测试值下均保持显著优势,加性模型则未恢复。作者据此将该设置中的分布外迁移差异关联到状态进入调度的耦合方式,而不只是是否使用状态自适应。双线性与加性的具体公式、求解器更新规则、训练分布、分布外划分、基线定义及完整统计协议尚未验证。 平台推测(待验证):若 EEG 研究中采用展开的迭代求解器,学习正则化强度或步长等调度,可将状态耦合形式作为待检验的设计因素,而非直接移植 MAX-CUT 结果。该假设依赖可微求解过程和具有可比含义的状态变量;需改造 EEG 目标函数、状态表示及监督目标,低信噪比、通道变化和小样本可能使状态依赖调度失稳。一个小规模检验是在固定 EEG 逆问题与相同迭代预算下,对比状态无关、双线性和加性调度,并按被试或噪声条件留出测试。已有 EEG 相关工作尚未检索确认,此建议不构成已验证的 BCI 效果。
值得阅读其相同输入与输出头下的双线性和加性消融:作者报告两者分布内表现难以区分、分布外表现却分化,为核对学习式优化调度的状态耦合机制提供了具体切入点。
来源:OpenReview · State space models · openreview.net