跳到正文
OpenReview · Representation learning· Michal Korniak; Kamil Dybek; Benjamin Eysenbach; Marco Bagatella; Michał Bortkiewicz·· 16 天前精选AI 评分78

每次三步:在对比强化学习中从动作序列学习表征

Three Steps at a Time: Learning Representations from Action Sequences in Contrastive RL

AI 导读

基于摘要分析。本文研究对比强化学习(CRL)应在何种时间尺度上建模动作,将通常基于单步动作的自监督 CRL 扩展为基于动作块(action chunks)的学习,并分析动作序列为何能改善表征与任务表现。主要研究对象是强化学习中的状态、动作与目标表征,并非 EEG 或 BCI 解码。 作者报告,在涵盖 18 个环境的离线基准和 11 个环境的在线基准上,该扩展分别带来 +31.7% 和 +93.1% 的提升。摘要未明确具体指标、跨环境汇总方式及对照实现,因此这些数值只能按原文作为相应评估范围内的相对提升报告,不能解释为 Accuracy 的百分点变化,也不能直接比较离线与在线设置。 机制方面,动作分块的常见解释包括建模非马尔可夫、时间延展的策略,以及传播无偏多步回报。作者认为,这些解释仅部分适用于 CRL;其实证研究提示,相比单个动作,动作块携带更多关于目标的信息,可改善 critic 的表征。这是作者提出并由其摘要所述实验支持的解释,尚不能据此确认具体因果路径。 动作块长度及构造方式、对比目标、训练与推理流程、环境名称、数据划分、信息量与表征质量的测量方式,以及消融和统计信息均尚未验证;不能仅凭标题推断所有实验均采用三步动作块。 平台推测(待验证):若面向具有连续控制动作与目标反馈的 BCI 强化学习任务,动作序列的目标信息可能具有研究价值,但这不等于连续 EEG 片段可直接充当动作块;当前材料不足以确定具体迁移机制,尚未检索确认已有 EEG 相关工作。

阅读价值

值得关注其对 action chunking 收益机制的分析:作者将 CRL 的性能改善与动作序列携带更多目标信息、进而改善 critic 表征联系起来,但具体度量与因果证据仍需全文核对。

来源:OpenReview · Representation learning · openreview.net