跳到正文
OpenReview · State space models· Gokul Swamy; Sanjiban Choudhury; Drew Bagnell; Steven Wu·· 2023-06-20精选AI 评分77

以不同观测空间的学习者补充既有策略

Complementing a Policy with a Different Observation Space

AI 导读

基于摘要分析。本文研究如何改进一个与学习者使用不同观测空间的黑箱策略,应用背景包括用机器学习模型增强既有手工设计系统,以及共享自主控制和人类–AI互补。核心贡献是分析观测空间不一致时朴素策略梯度的失效原因,并依据训练阶段可获取的观测信息提出两种校正路径。 作者报告其理论分析表明,由于不同观测空间之间的错误 grounding,直接沿朴素策略梯度更新可能导致性能下降。当训练阶段能够同时取得两套观测时,作者通过应用 backdoor criterion(后门准则)推导正确估计策略梯度的方法;无法同时取得两套观测时,作者报告在特定假设下可利用 proxy correction(代理校正)正确估计改进方向。后者的结论是获得改进方向,不应等同于无条件恢复完整策略梯度。摘要未给出具体识别假设、代理变量要求、估计器实现或实验结果;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若共享自主 BCI 中既有控制器依据环境状态决策,而学习者依据 EEG 等不同观测提供辅助,则该问题设定可能对应两者信息不一致造成的策略更新偏差。可考察复用其梯度校正思路,但需重新定义观测变量、动作与回报,并核对同步采集条件及因果识别假设。EEG 的低信噪比、跨被试差异、通道变化和小样本可能使代理观测不足以满足校正条件,原领域的理论结论不等于 BCI 有效性。一个可检验的小实验是在受控共享控制任务中同步记录两套观测,固定黑箱策略,比较朴素更新与后门校正更新相对该策略的回报变化,并检验观测噪声增加后的稳定性。已有 EEG 相关工作尚未检索确认,具体复现方案仍需全文支持。

阅读价值

该研究针对不同观测空间下黑箱策略与学习者的互补,提供策略梯度失效的理论分析及两种因果校正路径,值得核对其识别假设与实际可用的观测条件。

来源:OpenReview · State space models · openreview.net