面向增量自主探索的分层状态发现
Layered State Discovery for Incremental Autonomous Exploration
基于摘要分析。本文研究自主探索(AX):发现一组 ε-最优策略,以到达增量 L-可控状态集合。核心贡献是通过迭代应用状态扩张算子,对该集合进行分层分解,并据此提出 Layered Autonomous Exploration(LAE)算法;这里的 state 指探索问题中的环境状态,而非神经信号状态空间模型。 作者报告,LAE 的样本复杂度为 Õ(L·S→_{L(1+ε)}·Γ_{L(1+ε)}·A·ln¹²(S→_{L(1+ε)})/ε²),其中 S→_{L(1+ε)} 为增量 L(1+ε)-可控状态数,A 为动作数,Γ_{L(1+ε)} 为这些状态上的转移分支因子。针对上述 AX 问题,作者报告其相较 Tarbouriech 等人(2020a)的算法改善了 L² 因子,并称这是首个适用于可数无限状态空间的 AX 算法;这些是理论复杂度结论,不是实验性能提升。 在特定可辨识性假设下,作者进一步报告复杂度可达 Õ(L·S→_L·A·ln¹²(S→_L)/ε²),与 Cai 等人(2022)的下界在对数因子之外匹配,从而达到相应设定下的极小极大最优性。可辨识性假设的具体内容、状态扩张算子的定义、交互与重置条件,以及证明适用范围,均需查阅全文核对;实验协议、消融及统计信息尚未验证。 论文的主要对象是自主探索的理论算法,而非 EEG 解码或 BCI 控制。摘要未建立其状态可控性假设与实际神经接口任务的对应关系,因此不据此提出已成立的 BCI 迁移结论;相关 EEG 工作尚未检索确认。
值得关注的是基于状态扩张算子的分层探索机制及其样本复杂度保证,但最优性依赖可辨识性假设,且摘要未提供 EEG/BCI 应用证据。
来源:OpenReview · State space models · openreview.net