DisTop:通过发现拓扑表征学习多样且有奖励的技能
DisTop: Discovering a Topological Representation to Learn Diverse and Rewarding Skills
DisTop 面向深度强化学习中的稀疏奖励探索问题,将多样化技能发现与高奖励技能改进结合,通过持续学习环境的离散拓扑来组织技能选择。基于摘要分析,未取得论文全文。 方法使用无监督对比损失、增长式网络(growing network)和目标条件策略,逐步构建环境拓扑;不依赖当前状态的层级策略据此选择执行及学习哪项技能。技能执行带来新的访问状态,进而改善表征,形成表征学习与探索相互促进的循环。摘要未给出对比样本构造、拓扑更新规则、技能目标定义及奖励分配细节,不能据此补写具体损失形式或网络结构。 作者报告,DisTop 可处理高维二值数据、图像和本体感觉输入,并发现相应环境拓扑。在 MuJoCo 基准中,作者报告其在单任务稠密奖励和无奖励多样化技能发现两类设置下与 SOTA 算法具有竞争力;在稀疏奖励设置下,作者报告其优于一种 SOTA 层级强化学习算法。摘要未提供具体任务、对照名称、评价指标及数值,实验协议、消融及统计信息尚未验证,不能跨设置直接比较效果。 平台推测(待验证):该机制可能用于具有动作反馈和稀疏任务奖励的 BCI 控制,而非直接作为 EEG 解码方法。其依赖可交互环境、状态访问序列及目标条件策略;可复用的部分是拓扑组织与技能调度,需改造的部分是 EEG 状态表征、控制动作接口及奖励定义。低信噪比、跨被试或跨会话漂移可能使拓扑反映信号变化而非可控状态,小数据也可能不足以覆盖技能空间。一个可检验的小实验是在固定 EEG 解码器的闭环仿真中,对比拓扑驱动与随机技能选择,在相同交互预算下评估稀疏目标到达率,并检查信号扰动是否破坏拓扑稳定性。已有 EEG 相关工作尚未检索确认。
值得阅读之处在于将环境离散拓扑的渐进学习与技能选择、奖励导向探索耦合;其稀疏奖励优势由作者在强化学习任务中报告,能否用于 BCI 控制尚未验证。
来源:OpenReview · Representation learning · openreview.net