跳到正文
OpenReview · Representation learning· Hyesong Choi; Hunsang Lee; Wonil Song; Sangryul Jeon; Kwanghoon Sohn; Dongbo Min·· 2023-01-01精选AI 评分75

局部引导全局:用于视觉强化学习的成对相似性表征

Local-Guided Global: Paired Similarity Representation for Visual Reinforcement Learning

AI 导读

基于摘要分析。该研究针对视觉强化学习中全局图像表征容易忽略连续堆叠帧局部空间结构的问题,提出自监督 Paired Similarity Representation Learning(PSRL),将帧间局部对应关系与动作条件下的未来状态表征预测结合,以辅助策略学习。主要研究对象是像素输入的视觉强化学习,而非 EEG 或 BCI。 机制上,编码器分别将输入帧映射为潜在特征体,通过多帧之间的对应图捕捉局部空间结构变化,为编码器训练提供细粒度样本。动作感知变换模块则以动作向量为条件预测未来状态表征。方法对三类潜在特征体施加相似性约束:由估计的像素级对应关系变换得到的查询表征、动作感知模块预测的查询表征,以及未来状态的目标表征,从而用局部结构指导全局语义学习。摘要未给出具体损失形式或训练配置。 作者报告,在 Atari Games 和 DeepMind Control Suite 的复杂任务上,PSRL 能显著提升所结合强化学习方法的表现;但摘要未提供具体任务、对照基线、评估指标或数值。实验协议、消融及统计信息尚未验证,尚不能量化局部对应与动作条件预测各自的贡献。 平台推测(待验证):可检验的迁移假设是,在具有动作记录的闭环 EEG 任务中,以局部时空对应约束辅助动作条件下的未来表征学习。其前提是数据具有可追踪的连续结构与对齐的动作信息;图像像素对应模块需改造成适配 EEG 通道拓扑和时间片段的对应估计,不能直接照搬。低信噪比、动作伪迹、跨被试差异及小数据可能使对应关系不稳定。可在固定被试内划分下,对照仅使用未来表征预测与加入局部对应约束的模型,检验后者是否改善下游解码,并核对收益是否受伪迹驱动。已有 EEG 相关工作尚未检索确认。

阅读价值

该研究值得关注之处是用帧间局部对应约束动作条件下的未来状态表征学习,但其相对纯全局表征的收益及对 EEG 的适用性仍需核验。

来源:OpenReview · Representation learning · openreview.net