跳到正文
OpenReview · State space models· Daniel Bramblett; Siddharth Srivastava·· 2024-01-01精选AI 评分78

部分可观测条件下偏好规划的信念状态查询策略

Belief-State Query Policies for Planning With Preferences Under Partial Observability

AI 导读

基于摘要分析。本文研究部分可观测环境中如何使智能体规划满足用户对行为的约束与偏好,提出在目标导向部分可观测马尔可夫决策过程(gPOMDPs)中使用参数化信念状态查询(BSQ)策略的框架。研究对象是偏好约束下的规划与策略优化,并非神经信号建模或 BCI 解码。 核心机制是分析参数化 BSQ 策略的期望代价如何随参数变化。作者报告,该函数虽然非凸,但具有分段常数性质,由此形成隐式离散参数搜索空间,且在有限规划时域下该空间有限。这为策略参数优化提供了不同于连续凸优化的搜索依据;摘要未披露查询语法、参数化方式及搜索算法细节。 作者报告,基于上述性质构建的算法能够保证用户对齐,并在极限情况下收敛到最优的用户对齐行为。这里的用户对齐指框架中表达的用户约束与偏好,其形式化定义、可行性条件和收敛假设尚未验证。作者报告实验支持该方法在部分可观测规划中的计算可行性,但摘要未给出任务、基线、运行时间或性能数值,实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可能适用于具有显式信念状态、用户偏好约束及环境反馈的 BCI 共享控制规划,而不能直接替代 EEG 解码器。可复用部分是偏好约束表达与策略参数搜索;需改造部分包括由解码输出形成的观测模型、信念更新及交互代价。低信噪比、跨被试差异和小数据下的观测概率估计误差可能使形式化对齐保证无法覆盖真实交互。可先在具有可控解码混淆的模拟共享控制任务中,比较 BSQ 参数搜索与固定策略的约束违反率、任务代价及搜索耗时,并检验观测模型失配时的退化。已有 EEG/BCI 相关工作尚未检索确认。

阅读价值

值得关注其将参数化 BSQ 策略优化转化为隐式离散搜索的理论机制,但用户对齐保证的具体假设及计算可行性的实验范围仍需核对全文。

来源:OpenReview · State space models · openreview.net