跳到正文
OpenReview · Representation learning· Jesse Farebrother; Harley Wiltzer; Arthur Gretton; Yunhao Tang; Andre Barreto; Will Dabney; Marc G Bellemare; Mark Rowland·· 2023-09-24精选AI 评分80

后继表示的分布式对应形式

A Distributional Analogue to the Successor Representation

AI 导读

基于摘要分析。本文研究分布式强化学习中如何将环境转移结构与奖励分离,提出 distributional successor measure(分布式后继测度,SM),用于描述给定策略下行为后果的分布,而非仅描述其期望。作者将该对象建模为“分布上的分布”,并建立其与分布式强化学习、基于模型的强化学习之间的理论联系。 机制上,successor representation(后继表示,SR)刻画遵循给定策略时的期望后果,distributional SM 则进一步保留后果的分布信息。学习算法扩展 γ-models,通过最小化两层 maximum mean discrepancy(最大均值差异,MMD),从样本中学习 distributional SM。摘要还提及若干面向状态生成模型的算法技术,但具体结构、损失实现及训练条件尚未验证。 作者报告,该方法能够实现零样本风险敏感策略评估;摘要未提供任务、数据规模、风险准则、基线或定量结果,因此不能判断其效果幅度与泛化范围。理论假设、实验协议、消融及统计信息均需全文核对。 平台推测(待验证):若 EEG 驱动的闭环决策任务可建模为具有可复用转移结构、但奖励或风险偏好会变化的序贯决策问题,这种分离机制可能具有参考价值;这不是直接面向 EEG 解码的方法。可考虑复用后继测度学习目标,但状态表示及转移建模需适配 EEG 的噪声、部分可观测性与跨被试差异,小数据也可能使分布估计不稳定。一个可检验的假设是:在固定转移规则、仅改变奖励或风险准则的小型闭环模拟任务中,比较该方法与期望型 SR 的零样本策略评估误差,并逐步增加观测噪声检验收益是否保留。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以“分布上的分布”分离环境转移结构与奖励、并通过两层 maximum mean discrepancy 学习的机制;作者展示了零样本风险敏感策略评估用途,但具体实验协议与适用边界尚未验证。

来源:OpenReview · Representation learning · openreview.net