跳到正文
OpenReview · State space models· Yansong Li; Shuo Han·· 2022-05-02精选AI 评分75

利用基于模型的梯度加速无模型策略优化:复合优化视角

Accelerating Model-Free Policy Optimization Using Model-Based Gradient: A Composite Optimization Perspective

AI 导读

基于摘要分析。本文研究具有二次代价的非线性最优控制问题,系统由线性状态空间模型与较小的加性非线性扰动构成。核心贡献是将近似模型提供的显式代价与未知建模误差对应的黑箱代价结合,以复合优化方式加速无模型策略优化,而非提出神经信号解码方法。 算法将总代价分解为两部分:一部分由近似线性模型显式计算,另一部分表示未知建模误差。优化时先使用近似模型梯度进行梯度下降;当回溯线搜索失败时,再调用无模型算法获得摘要所称的“精确梯度”,并将两类梯度的差用于补偿后续更新。其机制重点是利用可用模型减少对黑箱评估的依赖,同时在近似梯度不足以支持更新时引入误差校正。 作者报告,在所研究的控制问题中,该算法相较传统无模型方法,在理论与实践上均减少了函数评估次数。摘要未提供具体任务、基线名称、改善幅度及梯度获取成本,因此不能据此判断总计算时间或真实交互成本是否同步下降;理论假设、扰动范围、实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可能适用于能够建立近似线性动态模型、且具有可重复代价反馈的 BCI 闭环控制优化,但不直接对应 EEG 表征学习或分类。可复用的是模型梯度与误差校正的调度思路;需改造的是用户—设备动态模型、反馈代价及无模型梯度估计。在低信噪比、跨被试差异、小样本反馈和用户状态漂移下,梯度差可能主要反映估计噪声而非建模误差。一个可证伪的小实验是在带受控非线性扰动的闭环控制仿真中,固定交互预算,比较纯无模型方法与该混合方法达到相同代价所需的评估次数,并逐步增加反馈噪声以检验收益是否消失。已有 EEG/BCI 相关工作尚未检索确认。

阅读价值

值得关注其以近似模型梯度承担常规更新、以无模型梯度校正建模误差的优化机制;作者报告可减少函数评估次数,但适用扰动范围与校正成本仍需全文核对。

来源:OpenReview · State space models · openreview.net