跳到正文
OpenReview · State space models· Harvey Ayling; Özgür Şimşek; Joshua Benjamin Evans·· 16 天前精选AI 评分71

通过时间距离聚类在连续状态空间中进行基于图的技能发现

Graph-Based Skill Discovery in Continuous State Spaces via Temporal Distance Clustering

AI 导读

基于摘要分析。本文研究强化学习中连续状态空间的图构建问题:如何把连续环境转化为适合基于图的技能发现方法使用的抽象表示,以支持长时程任务中的时间扩展动作(技能)发现。核心方法是在时间距离嵌入空间内对状态聚类,并据此构建抽象转移图。 原有基于图的技能发现方法利用环境的连通结构识别有用技能,但通常假定状态空间离散。本文将连续状态的图抽象作为前置环节,意在让已有技能发现算法复用同一类图表示,而非仅为某一种算法设计连续化版本。作者报告,在其摘要所述但未具体列明的实验环境与评估条件下,该方法能够捕获环境的底层连通性,并支持多种技能发现算法。摘要未给出环境名称、数据规模、对照基线、量化指标或不确定性,不能据此判断性能提升幅度;时间距离的定义与学习方式、聚类规则、图边构建方式、实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可能适用于将连续神经状态或闭环 BCI 控制轨迹抽象为可达性图,但依赖具有时间顺序和转移信息的轨迹,而不是仅有独立 EEG 试次及类别标签。可复用的是“时间距离表示—状态聚类—转移图”的处理流程;需要改造的是神经信号状态表示及其距离估计。低信噪比、跨被试与跨会话漂移、通道变化及小数据可能使聚类反映噪声或采集条件,而非可复现的控制状态。一个可检验的小实验是在已有闭环 EEG 控制轨迹上,对比时间距离聚类与普通特征空间聚类构建的图,在独立会话中检验其转移预测与连通结构是否稳定;原领域有效不等于 BCI 有效,相关 EEG 工作尚未检索确认。

阅读价值

值得核对其时间距离嵌入能否保留连续环境的可达性结构,以及生成的抽象转移图对不同技能发现算法的适用边界;摘要中的实验结论仍需结合全文协议验证。

来源:OpenReview · State space models · openreview.net