通过策略多样性进行技能学习,为强化学习获得可辨识表征
Skill Learning via Policy Diversity Yields Identifiable Representations for Reinforcement Learning
基于摘要分析。本文研究强化学习(RL)中互信息技能学习(MISL)能否恢复环境的真实特征,重点分析 Contrastive Successor Features(CSF)。作者报告,特征的内积参数化与判别意义上的技能多样性,可使 CSF 恢复在一个线性变换意义下等价的真实特征,为此类自监督表征学习提供可辨识性保证。 MISL 同时追求环境表征学习与探索,但表征形式及互信息参数化如何影响学习结果,理论上仍需澄清。本文从可辨识表征学习角度分析 CSF,并据此讨论不同互信息目标的影响及熵正则项的潜在弊端。这里的可辨识性并非逐维唯一恢复真实特征,而是允许线性变换后的等价表示;定理所需的环境、特征及技能分布条件,摘要未展开。作者将其称为 RL 表征学习的首个可辨识性保证,该优先性主张尚未独立核验。 作者报告在 MuJoCo 和 DeepMind Control 中进行了经验验证,并展示了从状态输入和像素输入恢复真实特征的结果。摘要未提供具体任务、数据规模、对照基线、恢复误差或下游回报,因此尚不能判断保证在何种训练规模及评估条件下成立,也不能将特征恢复直接等同于控制性能提升。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库,但代码内容与复现条件尚未核验。 该研究的主要对象是具备技能探索过程的 RL 环境,而非 EEG 或 BCI。平台推测(待验证):若神经信号交互任务能够明确建立技能、策略多样性与潜在环境特征之间的对应关系,其可辨识性分析或可作为理论参照;当前材料尚不足以确认这种对应,不能据此声称对低信噪比 EEG 或跨被试表征有效。已有 EEG 相关工作尚未检索确认。
值得关注的是作者将 CSF 的特征内积参数化与判别意义上的技能多样性联系到表征可辨识性,为理解 MISL 目标提供了理论切入点,但定理假设及其对实验环境的适用范围仍需核对全文。
来源:OpenReview · Representation learning · openreview.net