通过对抗数据增强从离线任务表征学习中解耦策略影响
Disentangling Policy from Offline Task Representation Learning via Adversarial Data Augmentation
基于摘要分析。本文研究离线元强化学习(OMRL)中任务表征受行为策略干扰的问题,提出通过对抗数据增强,使任务识别更侧重任务特征而非数据采集策略。研究对象是依赖静态多任务交互数据、面向新任务泛化的智能体,并非 EEG 或 BCI 解码。 机制与贡献:上下文式元策略将任务表征作为策略输入的一部分,已有方法常利用多任务离线数据进行对比学习。本文关注仅能使用有限数量行为策略收集数据的情形;作者指出,此时学到的任务表征容易与行为策略形成伪相关,损害分布外泛化。其对抗数据增强并非仅生成接近离线数据分布的样本,而是构造能够混淆任务表征、导致任务误识别的对抗样本,再利用这些样本训练表征。摘要未披露样本生成约束、具体损失形式及训练流程。 结果与证据边界:作者报告,在文中实验条件下,对抗样本训练提升了任务识别的鲁棒性与有效性,并改善分布外泛化;摘要未提供任务环境、策略数量、数据划分、对照基线或量化指标,因此无法判断改善幅度和适用范围。实验协议、消融及统计信息尚未验证,复现所需实现细节亦需查阅全文。 平台推测(待验证):其可迁移启发是假设任务相关信息与采集过程中的干扰因素可以分离。若 EEG 数据具有任务标签及可识别的采集策略或条件,或可借鉴对抗样本生成与表征稳健训练思路;但行为策略不能直接等同于被试或会话,需重新定义扰动约束,并验证增强是否保留任务语义。低信噪比、通道差异及小数据可能使增强破坏有效信号。一个可证伪的小实验是在固定跨会话划分下,对比同一表征模型使用与不使用受约束对抗增强时的任务识别表现,同时检查会话信息可预测性是否降低;不能仅凭后者降低认定迁移有效。已有 EEG 相关工作尚未检索确认。
值得关注其针对有限行为策略造成的任务表征伪相关提出的对抗数据增强机制,但分布外泛化收益及其对 EEG 场景的适用性仍需结合完整实验验证。
来源:OpenReview · Representation learning · openreview.net