OpenReview · State space models· Seungjae Lee; Daesol Cho; Jonghae Park; H. Jin Kim·· 2023-01-01精选AI 评分73
CQM:基于量化世界模型的课程强化学习
CQM: Curriculum Reinforcement Learning with a Quantized World Model
AI 导读
基于摘要分析。CQM 针对课程强化学习在高维观测空间中难以生成课程目标、往往依赖人工指定目标空间的问题,提出自动构建语义目标空间并在其中选择课程目标的方法。其主要研究对象是目标到达任务中的探索与课程生成,而非 EEG 解码或 BCI。 核心机制是利用向量量化变分自编码器(VQ-VAE)将连续观测离散化,再通过图恢复离散观测之间的时序关系。在该目标空间中,方法结合不确定性与时间距离选择课程目标,使课程逐步趋向最终目标。相较于人工设定目标空间的思路,其贡献重点在于目标表征的自动构建及课程目标的选择;摘要未说明不确定性估计、图构建、时间距离计算及各模块训练的具体实现。 作者报告,在仅提供原始目标示例、缺乏环境先验信息的条件下,该方法能够实现高效探索;在多种目标到达任务中,包括采用第一人称视觉输入的任务,其数据效率与任务表现优于所比较的先进课程强化学习方法。摘要未提供任务名称、具体基线、指标数值或评估划分,因此无法核对优势幅度及适用范围。 实验协议、消融及统计信息尚未验证,复现还需核对观测与目标示例的定义、量化表征和图结构的更新方式,以及课程策略与强化学习训练的交互流程。材料未提供 EEG/BCI 验证,也未建立从目标到达任务到神经信号建模的具体机制对应;已有 EEG 相关工作尚未检索确认。
阅读价值
值得核对其如何将 VQ-VAE 离散表征与时序关系图结合,以减少课程强化学习对人工目标空间的依赖;摘要中的效率优势仍需结合完整评估协议验证。
来源:OpenReview · State space models · openreview.net