通过多域行为克隆进行表征对齐的跨域策略迁移
Cross-Domain Policy Transfer by Representation Alignment via Multi-Domain Behavioral Cloning
基于摘要分析。本文研究自主智能体在无法与精确目标配置交互的条件下,如何跨域迁移已学技能,提出通过多域行为克隆学习跨域共享潜在表征,并在其上学习通用抽象策略。其主要研究对象是自主智能体的策略迁移,并非 EEG/BCI 解码。 方法使用代理任务中未对齐的多域轨迹进行行为克隆,并以最大均值差异(MMD)作为正则项促进跨域表征对齐。作者认为,相较于常用的基于域判别的分布匹配,MMD 能更好地保留潜在状态分布的结构。方法仅需训练一个多域策略,作者据此主张其更易扩展;具体输入、动作空间如何统一及损失配置尚未验证。 作者报告,该方法在多种域偏移下具有迁移效果,尤其适用于难以精确进行域转换的跨形态与跨视角场景。作者还报告,消融研究显示,多域行为克隆本身也会隐式促进表征对齐,而不只是依靠域对抗正则。摘要同时提及 MMD 与域对抗正则,但二者在具体实验中的配置关系需核对全文。摘要未提供数据集、量化指标或划分细节,实验协议、消融及统计信息尚未验证。 平台推测(待验证):可检验的迁移假设是,将不同被试或会话视为不同域,以相同任务的带标签 EEG 片段替代代理任务轨迹,借鉴共享表征与 MMD 对齐机制;其中行为克隆目标需改为解码监督目标,不能直接视为原策略迁移方法的复用。低信噪比、通道差异、小样本和类别比例变化可能使边缘分布对齐破坏类别结构。一个小规模验证可在固定 Cross-subject 划分与目标域标签使用规则下,比较相同骨干的共享监督训练和加入 MMD 的版本,检验迁移表现及类条件结构是否同时改善。已有 EEG 相关工作尚未检索确认。
值得关注其利用未对齐代理任务轨迹,通过多域行为克隆与 MMD 正则共同学习共享表征的机制;这为研究跨域表征对齐提供了可核对的思路,但其对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net