跳到正文
OpenReview · State space models·· 24 天前精选AI 评分81

普适 Bellman 完备性必然要求可聚合状态划分

Universal Bellman Completeness Forces Lumpable State Partitions

AI 导读

基于摘要分析。本文研究有限 Markov decision process(MDP)中普适 Bellman 完备性对价值空间结构的约束,核心贡献是将这一闭包性质精确刻画为分块常值函数空间与各动作转移核的可聚合性,而非提出新的状态空间模型或神经网络架构。 研究前提包括 MDP 至少有两个动作,且价值空间包含常数函数。作者报告:当奖励与后续价值均取自该空间时,对所有最优 Bellman 更新保持闭包,当且仅当该价值空间由某个唯一状态划分上的分块常值函数构成,且每个动作的转移核均相对于该划分满足可聚合性(lumpability)。直观上,同一块中的状态应具有一致的、通向各状态块的转移概率,从而允许在块级描述动态。 证明机制利用可独立选择的各动作奖励,揭示价值空间对逐点最大值运算的闭包,并分别识别各动作转移核的约束。作者进一步报告,这些构造可形成基于自适应 Bellman 成员资格查询的精确有限证书。在分块常值价值空间上,作者还建立了闭包缺陷与转移不匹配之间的精确关系;在额外的分离或条件性假设下,该关系支持状态块恢复,并给出价值损失与策略损失界。 阅读时需重点核对“普适”的量词范围、价值空间的完整定义、查询访问条件与次数,以及损失界所需假设和常数。摘要未提供具体实验、数据集或数值结果,定理细节、实验协议、消融及统计信息尚未验证。其直接研究对象是强化学习中的价值表示与状态抽象;材料未建立与 EEG/BCI 的具体机制对应,因此不能据此推断 BCI 有效性。

阅读价值

值得阅读的具体原因是作者给出了普适 Bellman 完备性与可聚合状态划分之间的充要刻画,并提出有限查询证书,可用于核查强化学习中价值空间与状态抽象的结构性假设;其适用条件与查询成本仍需全文验证。

来源:OpenReview · State space models · openreview.net