未建模状态依赖下利用学习型 Critic 的最优控制
Optimal Control with Learned Critics under Unmodeled State Dependencies
基于摘要分析。本文研究机器人控制中解析动力学难以描述接触等状态依赖效应、有限时域规划又容易短视的问题,提出结合残差动力学网络与学习型 action-value critic 的 Model Predictive Control(MPC)框架。主要贡献是保留局部模型规划的结构,同时用学习组件补偿动力学不完整性并引入长时程决策信息。 机制上,残差动力学网络从数据中学习名义解析模型遗漏的状态依赖效应;action-value critic 则将长时程 Markov Decision Process(MDP)信息引入局部 iLQR 优化。摘要未给出 critic 如何进入优化目标、残差网络与 critic 的训练损失、数据采集方式及更新流程,这些细节尚未验证。 实现上,作者开发了 GPU 加速的批量 iLQR 求解器,在最优控制循环内部评估学习型动力学与 critic 网络,并行求解数千个轨迹优化问题,且将完整系统集成到机器人仿真器中。该并行规模描述的是求解能力,不能据此推断实际控制频率或端到端加速倍数。 作者报告,在存在模型偏差及动力学建模不完整的控制任务上,该方法改善了闭环控制表现,并保留了用于高效约束轨迹优化的模型式结构。摘要未提供具体任务名称、交互数据量、对照基线、性能指标或约束违例统计;实验协议、消融及统计信息尚未验证,因此暂不能量化其相对 MPC 或 model-free reinforcement learning 的收益。 研究主要对象是机器人控制,而非 EEG 解码或 BCI。摘要尚不足以建立具体的神经信号机制对应关系,不据此推断 BCI 有效性;已有 EEG 相关工作尚未检索确认。复现需进一步核对仿真环境、名义动力学、网络训练配置、iLQR 数值设置及实现可用性。
值得关注的是将残差动力学、长时程 action-value critic 与 GPU 批量 iLQR 纳入同一控制优化循环的实现路径,但性能收益、约束处理与数据效率仍需结合全文协议核验。
来源:OpenReview · State space models · openreview.net