跳到正文
OpenReview · Representation learning· Max Rudolph; Rohan Patel; Alexander Levine; Peter Stone; Amy Zhang·· 13 天前精选AI 评分80

利用不同策略的无动作标签数据集进行以控制为中心的表征学习

Control-centric Representation Learning using Action-free Datasets with Distinct Policies

AI 导读

基于摘要分析。本文研究如何从不含动作或奖励标签的视频中学习适用于控制任务的表征,核心贡献是在同一环境下采集不同策略执行的视频,并引入旨在滤除时间相关噪声的损失函数。主要研究对象是机器人操作、视频游戏等视觉控制任务,而非 EEG 或 BCI。 机制与贡献:现有方法利用无动作标签视频预训练特征编码器,再通过较少的任务特定动作标注数据进行微调;当观测包含时间相关噪声时,编码器可能混淆噪声与可控特征。作者提出利用多策略视频解决这一辨别问题,并声称其损失函数在该设置下具有滤除时间相关噪声的理论保证。具体损失形式、策略差异如何进入训练,以及保证成立所需的环境与噪声假设尚未验证。作者还声称,这是首个无需动作标签、能在高维连续观测与状态空间中可扩展地滤除外源噪声的方法;该优先性主张尚未独立核验。 结果与边界:作者报告,在加入干扰的 DeepMind Control Suite、OGBench 和 LIBERO 任务上,相对既有无动作标签学习方法可取得 2× 的表现。摘要未说明这一倍数对应的指标、具体任务、数据划分及汇总方式,不能解释为准确率翻倍或跨所有任务成立。实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设不同策略数据确实提供了区分任务相关动态与外源噪声的信息,该机制或可启发闭环 BCI 的抗干扰表征学习;但不同策略的视频不能直接等同于不同被试或不同会话的 EEG。可考虑复用多策略训练思路,观测编码器及策略分组方式则需适配 EEG;低信噪比、小数据、通道差异,以及干扰与任务策略耦合均可能使其失效。一个可证伪的小实验是在同一闭环任务的多策略数据中加入可控时间相关干扰,比较该损失与单策略预训练在留出干扰条件下的控制表现,并检查任务信息是否同时受损。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其利用同一环境下不同策略的视频区分可控特征与时间相关噪声的损失设计及证明条件;作者报告了视觉控制收益,但其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net