跳到正文
OpenReview · Representation learning· Yifang Chen; Yingbing Huang; Simon S. Du; Kevin G. Jamieson; Guanya Shi·· 2023-01-01精选AI 评分81

面向一般任务空间的主动表征学习及其在机器人中的应用

Active representation learning for general task space with applications in robotics

AI 导读

基于摘要分析。本文研究多任务预训练中如何主动选择源任务以提高表征学习的数据效率,提出统一的算法与理论框架,并在合成数据和机器人问题中验证不同实例。原论文的主要研究对象是通用多任务表征学习及机器人应用,而非 EEG 或 BCI。 核心机制是由学习器选择从哪些源任务采样,而非被动接受任务分布。框架同时覆盖针对特定目标任务的 task-aware 设置,以及面向一类任务学习通用表征的 task-agnostic 设置,支持从离散到连续的源任务与目标任务空间。作者给出可实现的元算法,以及双线性、基于特征的非线性和一般非线性实例;具体采样规则、损失和训练流程尚未验证。 理论方面,作者报告在双线性情形下,利用任务表征的非均匀谱及经校准的源目标相关性,达到目标任务 ε-excess risk 的样本复杂度随 (k*)²‖v*‖₂²ε⁻² 缩放,其中 k* 为目标有效维度,‖v*‖₂²∈(0,1] 表征源任务空间与目标任务空间的联系。摘要以 1/d_W 描述相对被动方法的最大样本复杂度节省,其中 d_W 为任务空间维度;该比例的严格含义、理论假设及省略项需核对全文。 实验涵盖合成数据、摆系统仿真和真实无人机飞行数据。作者报告其算法平均优于基线 20%–70%,但摘要未明确对应指标、相对改善计算方式、任务划分及基线细节,因此不能解释为准确率提升或直接用于跨协议比较。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将源被试或源会话定义为任务,主动任务采样可能用于缓解 EEG 预训练中源数据贡献不均的问题。此假设依赖可比较的任务结构及可靠的源目标相关性估计;可复用任务选择思路,但需适配 EEG 表征与采样成本。低信噪比、通道差异和目标小样本可能使相关性估计失真。一个可检验的小实验是在固定采样预算、编码器和跨被试划分下,对比主动源被试采样与均匀采样,并检查多次重复下的目标任务表现。已有相关 EEG 工作尚未检索确认。

阅读价值

值得关注其将源任务选择纳入表征学习优化的统一框架,以及双线性情形下联系目标有效维度、源目标相关性与样本复杂度的理论;其对 EEG 跨被试预训练的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net