跳到正文
OpenReview · Representation learning·· 27 天前精选AI 评分75

用于隐含动力学表征学习的等变反事实监督

Equivariant Counterfactual Supervision for Hidden-Dynamics Representation Learning

AI 导读

基于摘要分析。本文研究如何从机器人的交互历史中学习环境的物理上下文,提出等变反事实监督,并区分表征中物理信息的可读取性与其对新预测任务的实用价值。 方法在受控改变环境属性的条件下比较模拟响应,并分别采用适用于材料变化和几何变化的比较规则;再减去各比较条件下的平均响应,形成残差目标。reservoir feature bank 汇总交互历史,学习到的编码用于预测同一环境中另一条 rollout 的查询所对应的目标。具体等变关系、环境因素及训练细节尚未验证。 作者报告,相较于 Full-transition 监督,Residual 监督将 steepness 的线性探针 R² 从 0.555 提高至 0.907,并在全部十个因素水平留出设置中提高平均 exact-cell retrieval。作者还报告,在预测头和尺度匹配的成对目标中心化消融中,可读取性差异得到支持;具体划分、指标定义及统计信息尚未验证。 预测收益则存在任务依赖性:作者报告,新训练的预测器在分布内完整转移预测上获得小幅收益,但 Full 在全部四项留出因素响应任务上的平均误差更低。因此,这些结果支持监督方式会影响物理因素的可读取性,不能据此将更高的线性探针表现等同于更强的泛化预测能力。 平台推测(待验证):残差目标可能为分离 EEG 中的条件变化与共有响应提供方法参考,但原方法依赖可控环境属性及配对模拟响应,EEG 中是否存在可靠对应关系仍不确定。可复用的是目标中心化思路,需要改造的是反事实条件构造与响应对齐;低信噪比、被试差异和小样本可能使差分目标更不稳定。若能获得可靠配对的条件响应,可在固定编码器、预测头及跨被试划分下比较完整目标与中心化目标,同时检查因素可读取性和下游预测表现是否一致改善。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。

阅读价值

值得核对其目标中心化消融与迁移任务对照:作者报告残差监督提高了物理因素的可读取性,但这种优势未一致转化为未见因素响应任务的预测收益。

来源:OpenReview · Representation learning · openreview.net