跳到正文
OpenReview · Representation learning· Ruijie Zheng; Yongyuan Liang; Xiyao Wang; Shuang Ma; Hal Daumé III; Huazhe Xu; John Langford; Praveen Palanisamy; Kalyan Basu; Furong Huang·· 2023-11-08精选AI 评分73

PREMIER-TACO:通过时序动作驱动对比损失预训练多任务表征的少样本策略学习器

$\texttt{PREMIER-TACO}$ is a Few-Shot Policy Learner: Pretraining Multitask Representation via Temporal Action-Driven Contrastive Loss

AI 导读

基于摘要分析。PREMIER-TACO 面向视觉控制中的序列决策问题,通过多任务离线数据预训练通用特征表征,再利用少量专家示范针对具体任务微调,旨在提高未见任务上的少样本模仿学习效率。其主要研究对象是控制策略与环境动态表征,而非 EEG 解码或 BCI。 机制上,该方法沿用 temporal action contrastive learning(TACO)目标,并引入负样本采样策略。作者认为,这一修改有助于支持计算高效、可扩展的大规模多任务离线预训练;预训练使用相关多任务离线数据中的一小部分,以学习环境动态。摘要未给出对比损失公式、负样本构造、轨迹时间跨度、网络结构及微调细节,相关机制的具体实现尚未验证。 结果方面,在面向未见任务的少样本模仿学习评估中,作者报告:在 DeepMind Control Suite 上,相对 Learn-from-scratch 基线平均提升 101%,相对最有效的预训练基线提升 24%;在 MetaWorld 上,相应平均提升为 74% 和 40%。这些数值是原文报告的相对提升,不能解释为 Accuracy 或成功率的百分点变化。具体评价指标、任务划分、专家示范数量、基线名称、消融及统计信息尚未验证。 平台推测(待验证):其潜在借鉴点是利用带动作的连续轨迹学习任务相关动态,而非直接迁移视觉控制策略。假设 BCI 场景具备同步神经信号、动作或控制指令及反馈轨迹,可考察该目标能否改善少样本控制表征;编码器与负样本规则需针对 EEG 改造。低信噪比、跨被试差异、通道不一致和小数据可能使时序或动作关联失真。一个可检验的小实验是在固定跨被试划分与微调样本量下,对比从头训练、原 TACO 与该负样本策略,并核对预训练数据不含测试被试。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其利用多任务离线轨迹与负样本采样改进少样本策略学习的机制,但摘要中的相对提升尚需结合指标与任务划分核验,不能据此认定对 EEG/BCI 有效。

来源:OpenReview · Representation learning · openreview.net