跳到正文
OpenReview · Representation learning· Harley Wiltzer; Jesse Farebrother; Arthur Gretton; Yunhao Tang; Andre Barreto; Will Dabney; Marc G Bellemare; Mark Rowland·· 2024-05-02精选AI 评分81

后继表示的分布式对应形式

A Distributional Analogue to the Successor Representation

AI 导读

基于摘要分析。本文研究分布式强化学习中如何分离环境转移结构与奖励,提出 distributional successor measure(分布式后继测度,SM),用于描述给定策略下行为后果的分布,而不只刻画其期望。 传统 successor representation(后继表示,SR)描述遵循给定策略时的预期后果;本文将 distributional SM 建模为“分布上的分布”,并给出其与分布式强化学习及基于模型的强化学习之间联系的理论。算法通过最小化两级 maximum mean discrepancy(最大均值差异,MMD),从数据中学习这一表示。摘要还指出,其中若干算法技术可用于状态生成模型的学习,但未提供这些技术的具体构造。 作者报告,该表示能够支持零样本风险敏感策略评估,并将其作为方法用途的示例。这里的任务是策略评估,不能据此推断其已实现零样本策略优化,也不能将风险敏感评估能力等同于实际部署安全性。摘要未提供环境、数据采集方式、对照基线、数值结果或计算开销;两级 MMD 的具体定义、理论成立条件、实验协议、消融及统计信息尚未验证。 该论文的主要对象是通用强化学习,并非 EEG 表征学习或 BCI 解码。现有材料没有建立其状态与奖励建模方式同 EEG 数据或 BCI 任务之间的具体对应,因此尚不能推断 BCI 有效性;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是其用“分布上的分布”分离转移结构与奖励,并通过两级 maximum mean discrepancy 学习该表示的机制;零样本风险敏感策略评估的具体适用条件与效果仍需核对全文。

来源:OpenReview · Representation learning · openreview.net