跳到正文
arXiv · 学习目标与优化· Motasem Alfarra; Pietro Mazzaglia; Markus Peschl; Daniel Dijkman; Christos Louizos·· 18 小时前精选AI 评分76

机器人策略的高效测试时自适应

Efficient Test-Time Adaptation For Robot Policies

AI 导读

基于摘要分析。本文研究机器人运动控制策略在地形、负载或感知条件变化后的部署失效问题,提出 TEMPO,在执行过程中不访问奖励,以自监督方式进行测试时自适应,目标是在端侧延迟与内存约束下改善预训练策略的表现。 方法从轻量基线出发:冻结预训练 critic,将其作为部署时的性能代理,仅更新 actor。TEMPO 在此基础上加入两项机制:对 critic 的预测分布施加促进熵的正则,以缓解分布外推时的过度自信;构建受 prioritized replay 启发的基于评分的记忆,优先处理低价值的“困难”观测,并使用重要性采样,将有限计算集中到更有信息量的部署条件。正则的具体形式、评分与采样规则、更新预算及稳定化细节尚未验证。 作者报告,在 MuJoCo Playground 中,面向 Go1、Go2 和 G1、四类代表性条件偏移及多种架构,TEMPO 获得一致改善,单设备设置下最高改善达 80%;摘要未明确该数值对应的指标、具体偏移和对照配置,不能解释为准确率或百分点提升。作者还报告,在小腿部位增加负载的实体 Unitree Go2 上,完全端侧适应在真实运行回合中优于不适应基线。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可供 EEG/BCI 借鉴的假设是,利用冻结的质量评价代理与有限记忆,在无即时标签时分配在线更新预算。但机器人方法依赖预训练 actor–critic 结构和连续交互观测,普通 EEG 分类器并无可直接替代的 critic;评价代理、适应目标和记忆评分均需改造。低信噪比、跨被试或通道变化可能使低价值观测集中于伪迹,导致错误更新,小数据也可能使代理失准。可先在固定 Cross-session EEG 划分下,以不使用测试标签的在线协议,对比冻结模型、代理驱动更新及加入正则与记忆的版本,核对是否出现负迁移;这属于机制验证建议,并非本文结果。相关 EEG 工作尚未检索确认。

阅读价值

值得核对 TEMPO 如何以冻结 critic、熵正则和困难观测记忆实现无奖励在线适应,尤其是严重分布偏移下代理评价的可靠性与端侧计算开销;其 EEG/BCI 适用性尚未验证。

来源:arXiv · 学习目标与优化 · arxiv.org