跳到正文
OpenReview · State space models· Raphaël Avalos; Eugenio Bargiacchi; Ann Nowé; Diederik M. Roijers; Frans A. Oliehoek·· 2024-01-01精选AI 评分76

带状态请求的 POMDP 在线规划

Online Planning in POMDPs with State-Requests

AI 导读

基于摘要分析。本文研究部分可观测马尔可夫决策过程(POMDP)中的在线规划:智能体通常无法获知完整状态,但可以付出较高成本获取完整状态信息,例如启用高能耗精密传感器或咨询人类。作者提出 AEMS-SR(Anytime Error Minimization Search with State Requests),将高成本状态请求纳入在线规划。 核心机制是以图而非树表示搜索空间。作者指出,该表示可避免状态请求引起的搜索空间指数增长;作者报告理论分析给出 AEMS-SR 的 ε-最优性保证,并在经验评估中展示其相对于 AEMS 和 POMCP 的有效性。摘要未提供具体任务、请求成本设置、评估指标或数值,因此尚不能判断收益大小及适用范围;最优性保证的假设、图搜索的具体实现、实验协议、消融及统计信息尚未验证。 平台推测(待验证):其潜在对应场景是闭环 BCI 中对高成本辅助观测的调度,而不是 EEG 信号解码本身。可复用思路是将信息获取成本纳入决策并采用图式搜索;需要改造的是隐状态、观测模型、动作及成本定义。关键迁移假设是辅助观测能提供足够可靠的状态信息,但 EEG 低信噪比、被试差异与跨会话漂移可能破坏这一假设,尤其不能将额外 EEG 采样直接等同于获取完整状态。一个可证伪的小实验是在具有已知隐状态的闭环任务仿真中,比较 AEMS-SR、AEMS 与 POMCP 在相同规划预算下的累计回报和请求成本,并逐步降低请求信息的可靠性。该实验仅检验机制适配性,不构成 BCI 有效性证据;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以图结构控制状态请求所致搜索膨胀的机制及 ε-最优性条件;它为带高成本信息获取的在线决策提供了明确方法,但对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net