用于去混杂模仿学习的初始状态干预
Initial State Interventions for Deconfounded Imitation Learning
基于摘要分析。本文研究模仿学习中的因果混淆:策略依赖与专家动作存在伪相关、却不具有因果影响的观测特征,因而可能具有较低的开环监督损失,却在部署后的闭环控制中表现不佳。作者提出在观测空间的解耦表征中屏蔽已观测混杂因素,利用初始系统状态干预来辅助确定屏蔽对象。 核心机制是不依赖额外专家查询、专家奖励函数或预先指定的因果图,而利用通常可实施的初始状态干预减少特征选择中的因果歧义。作者报告,在特定假设下可理论证明算法具有保守性,即不会错误屏蔽对专家动作具有因果影响的观测;初始状态干预还能严格减少过度保守性。这一保证不等同于识别全部伪相关特征,其具体适用假设尚需核对全文。 作者将该屏蔽算法用于 CartPole 与 Reacher 两个控制系统的行为克隆。摘要未提供定量结果、对照基线或划分协议,因此尚不能判断闭环控制收益的大小;解耦表征的获取方式、干预策略、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 驱动的闭环控制使用模仿学习训练策略,该机制可能用于检验策略对初始任务状态相关伪特征的依赖,但其前提是任务状态可干预,并具有可解释或可解耦的观测表征。可复用的是干预与特征屏蔽思路,需改造的是 EEG 表征和安全可控的初始化流程;低信噪比、通道差异、跨被试变化及小数据可能使因果信息与伪相关难以分离。一个可证伪的小实验是在固定被试和通道配置下,比较有无初始状态干预屏蔽时的行为克隆策略,在改变初始状态后评估闭环任务表现与误屏蔽风险。原文研究对象并非 EEG 或 BCI,已有 EEG 相关工作尚未检索确认。
值得关注其利用初始状态干预识别模仿学习伪相关特征的机制,以及不误屏蔽因果特征的条件性理论保证;具体控制收益及对 BCI 的适用性尚未验证。
来源:OpenReview · State space models · openreview.net