跳到正文
OpenReview · Representation learning· Thomas T. C. K. Zhang; Katie Kang; Bruce D. Lee; Claire J. Tomlin; Sergey Levine; Stephen Tu; Nikolai Matni·· 2023-01-01精选AI 评分77

线性动力系统的多任务模仿学习

Multi-Task Imitation Learning for Linear Dynamical Systems

AI 导读

基于摘要分析。本文研究线性动力系统中的高样本效率模仿学习,核心贡献是分析跨任务学习共享低维表征后,目标策略的模仿误差如何随源任务和目标任务数据量变化,而非直接研究 EEG 解码或 BCI。 方法分为两个阶段:首先从 H 个源策略中预训练一个共享的 k 维表征,再用该表征参数化目标策略类并进行微调。作者报告,在所研究的线性系统设定下,沿学习所得目标策略生成的轨迹计算的模仿差距,上界为 Õ(k n_x/(H N_shared) + k n_u/N_target)。其中 n_x > k 为状态维度,n_u 为输入维度,N_shared 为表征学习阶段每个策略采集的数据量,N_target 为目标任务数据量。该界将共享表征学习与目标策略学习的样本依赖分开刻画;作者报告,仿真支持这一理论界所提示的变化趋势,摘要未提供具体仿真数值。 该结果的适用范围取决于任务共享结构、系统条件及轨迹分布等理论假设。表征形式、训练目标、数据采集方式、基线、仿真协议及统计信息尚未验证,不能据此断言任意增加源任务均能改善目标任务表现。 平台推测(待验证):若某类闭环 BCI 控制任务可近似为具有共享低维状态结构的线性动力系统,该框架可能为减少目标任务示范数据提供分析思路。可复用的是“共享表征预训练—目标策略微调”的框架;需要改造的是从高噪声神经观测到控制状态的映射及跨被试、跨会话的共享假设。低信噪比、通道变化、小样本和非线性动力学均可能使该对应失效。一个可证伪的小实验是在固定目标任务示范量与评估轨迹协议下,对比共享表征与从头学习,并加入不相关源任务,检验是否出现收益或负迁移。已有 EEG 相关工作尚未检索确认。

阅读价值

该研究给出了线性系统多任务模仿学习中共享表征与目标任务样本量如何共同影响模仿误差的理论界,适合核对其任务共享假设及仿真条件,但其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net