跳到正文
OpenReview · State space models· Daniel Bramblett; Siddharth Srivastava·· 2024-01-01精选AI 评分78

面向用户对齐 POMDP 的信念状态查询策略

Belief-State Query Policies for User-Aligned POMDPs

AI 导读

基于摘要分析。本文研究部分可观测环境中,规划智能体如何同时完成目标并遵循用户对行为的约束与偏好。作者在目标导向部分可观测马尔可夫决策过程(gPOMDP)中引入参数化信念状态查询(BSQ)策略,将用户要求纳入规划策略的表达与优化。 理论机制方面,作者给出此类约束的形式化分析,并证明参数化 BSQ 策略的期望成本关于策略参数虽非凸,却具有分段常数结构;在有限规划时域下,这一结构对应一个有限的隐式离散参数搜索空间。该结果为策略参数优化提供了可利用的搜索结构,但摘要未说明查询表达式、约束语义、搜索算法及其计算复杂度,相关细节尚未验证。 作者据此提出优化 gPOMDP 智能体行为的算法,并称其具有用户对齐保证;理论分析表明,算法在极限下收敛到最优的用户对齐行为。这里的极限收敛不等同于有限计算预算下达到最优,对齐保证的适用假设也需结合全文理解。作者报告实证结果支持该方法在部分可观测规划中的计算可行性,但摘要未提供任务、基线、规划时域、运行时间或性能数值,实验协议、消融及统计信息尚未验证。 本文的主要对象是部分可观测决策与用户约束规划,而非 EEG 信号建模或 BCI 解码。材料未建立其与具体 BCI 系统的机制对应关系,因此不能据此认定其具有 BCI 有效性;已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读之处在于将用户约束与偏好编码为参数化 BSQ 策略,并利用期望成本的分段常数结构开展参数搜索;其对齐保证的形式化条件与计算可行性的实验依据仍需全文核对。

来源:OpenReview · State space models · openreview.net