跳到正文
OpenReview · State space models· Seungjae Lee; Daesol Cho; Jonghae Park; H. Jin Kim·· 2023-09-22精选AI 评分74

CQM:基于量化世界模型的课程强化学习

CQM: Curriculum Reinforcement Learning with a Quantized World Model

AI 导读

基于摘要分析。CQM 研究课程强化学习在高维观测空间中难以生成课程目标、往往依赖人工指定目标空间的问题,提出自动构建语义目标空间并在其中选择课程目标的方法。其主要研究对象是目标到达任务,而非 EEG 解码或 BCI。 机制上,方法使用 vector quantized-variational autoencoders(VQ-VAE)将连续观测离散化,再通过图恢复离散观测之间的时间关系;在自动构建的目标空间中,结合不确定性与时间距离选择逐步通向最终目标的课程目标。摘要未说明量化表征的具体训练目标、图的构建与更新规则,以及不确定性和时间距离的计算方式,相关实现尚未验证。 作者报告,在仅提供原始目标示例、缺乏环境先验信息的条件下,该方法能够实现高效探索;在多种目标到达任务中,包括采用自我中心视角视觉输入的任务,相较所比较的课程强化学习方法取得更好的数据效率与任务表现。摘要未提供任务名称、具体指标、数值或基线配置,不能据此量化优势;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 驱动的交互环境具有明确的目标到达任务和连续交互轨迹,可考察离散状态表征与时间关系图能否辅助课程构建。该假设依赖可学习的状态结构与足够的轨迹覆盖,不能由视觉任务结果直接推出。可能复用的是目标空间构建和课程选择思路,需要改造的是 EEG 观测编码与目标定义;低信噪比、跨被试差异、通道变化及小数据可能使量化状态主要反映噪声而非任务进展。一个可检验的小实验是在固定 EEG 交互协议与训练预算下,对比自动课程与人工课程的目标达成率和交互样本需求,并独立评估跨会话稳定性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以 VQ-VAE 离散表征和时序关系图自动构建课程目标空间的机制,尤其是目标选择如何兼顾不确定性与时间距离;摘要尚不足以判断其向 EEG/BCI 任务迁移的可行性。

来源:OpenReview · State space models · openreview.net