跳到正文
OpenReview · State space models· Eduardo D. Sontag·· 2021-01-01精选AI 评分73

受无模型反馈控制学习启发的扰动梯度流输入到状态稳定性探讨

Remarks on input to state stability of perturbed gradient flows, motivated by model-free feedback control learning

AI 导读

基于摘要分析。本文研究无模型最优控制中梯度估计误差如何影响优化过程,将真实梯度的扰动视为输入,以输入到状态稳定性(input-to-state stability,ISS)为框架分析含噪梯度流及相关最速下降算法。 原问题来自数据驱动控制与强化学习:优化不依赖对系统模型的完全了解,而由“oracle”返回候选控制律对应的代价估计及梯度估计。例如,在线性二次调节器问题中,可通过受控物理系统上的实验评估候选线性反馈律。本文关注这种估计过程中的误差,而非提出神经信号解码模型。 技术贡献方面,摘要说明论文针对欧氏空间真开子集上演化的系统,自包含地回顾 ISS 定义与定理,再将结果用于含噪梯度系统及相应最速下降算法。其分析重点是把梯度扰动与系统状态行为联系起来;具体稳定性条件、扰动界、收敛结论及连续时间到离散算法的适用条件尚未验证,不能据摘要断言任意噪声下均能收敛。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 驱动的闭环反馈控制通过实验回报估计控制参数的代价梯度,该框架可能用于分析反馈噪声引起的参数偏离;这是机制对应的假设,并非已证实的 BCI 效果。可复用的是扰动梯度的稳定性分析思路,需改造的是实际代价、参数可行域及误差模型。低信噪比、小样本反馈和被试状态漂移可能产生有偏或非平稳误差,使理论条件不成立。一个可检验的小实验是在具有可计算参考梯度的低维闭环控制仿真中,注入不同强度的梯度估计误差,比较连续梯度流与离散最速下降的参数偏离及可行域保持情况,再核对其是否符合正文定理条件。相关 EEG 工作尚未检索确认。

阅读价值

值得阅读的具体原因是其以输入到状态稳定性分析梯度估计误差对梯度流及最速下降算法的影响,可为研究含噪优化的稳定性提供理论框架,但其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net