基于跨任务演化准度量结构的持续强化学习
Continual Reinforcement Learning with Quasimetric Structure Evolving across Tasks
基于摘要分析。本文研究持续强化学习中任务动力学与奖励变化、稀疏奖励及任务边界突变带来的知识迁移和遗忘问题,提出 CONQUEST,通过跨任务准度量表示刻画非对称、可组合的知识迁移关系,并支持任务无关策略的提取。 其核心机制是用准度量结构描述状态到目标的可达性,而非依赖任务特定的奖励与转移动力学来识别可迁移知识。作者引入 cross-task compositional successor distance,通过共享潜在路标连接任务特定表示,再学习统一的准度量空间,以捕捉跨任务可复用结构。摘要未给出距离的数学定义、路标获取方式、训练目标或策略提取细节,因此尚不能判断这种结构在任务动力学差异较大时成立的具体条件。 作者报告,在稠密奖励与稀疏奖励的连续控制任务,以及基于图像的持续强化学习基准上,CONQUEST 优于已有基线。摘要未提供基准名称、任务序列、对照方法、指标或数值;实验协议、消融及统计信息尚未验证,尤其需要核对知识迁移与遗忘分别如何评估,以及共享结构的贡献如何区分。 该工作的主要对象是持续强化学习智能体,而非 EEG 表征学习或 BCI 解码。其机制依赖状态—目标可达性与跨任务路标的对应关系,现有材料未建立这些结构与 EEG 数据的具体对应,因此不据此推断 BCI 有效性;相关 EEG 工作尚未检索确认。
值得核对的是 CONQUEST 如何以共享潜在路标连接不同任务的可达性表示,以及这种组合结构能否在动力学与奖励变化时支持经验复用并缓解遗忘;摘要所述优势仍需全文实验验证。
来源:OpenReview · Representation learning · openreview.net