跳到正文
arXiv · 多模态与生成机制· Mohammad Khoshnazar; Mohammad Dehghani Tezerjani; Deyuan Qu; Zhiyuan Gao; Yanxiang Zhan; Jeroen Schafer; Andrew Melnik; Qing Yang; Michael Beetz·· 2 天前精选AI 评分80

CAPABLE:通过行为潜在编码实现能力感知的策略适应

CAPABLE: Capability-Aware Policy Adaptation via Behavioral Latent Encoding

AI 导读

基于摘要分析。CAPABLE 研究关节故障改变指令实际执行方式后,视觉–语言–动作(VLA)策略如何在保持原策略冻结的情况下恢复任务执行。其核心贡献是将在线自监督能力推断与残差强化学习结合,不依赖故障标签或故障关节标识来修正机械臂动作。 机制上,CAPABLE 从指令–响应历史与运动学信息推断各关节实际实现了多少指令运动,以及这些运动如何影响末端执行器行为。摘要明确列出跨关节共享的时序编码器、Jacobian grounding、跨关节注意力和自监督物理预测;所得表征作为残差策略的条件输入,为 VLA 的机械臂动作添加有界修正。具体预测目标、损失形式、历史窗口、残差边界及强化学习训练流程尚未验证。 作者报告,在 28 个 LIBERO 任务上,对故障训练中排除的一个执行器进行评估时,任务成功率由 24.8% 提升至 59.3%,比参数量匹配的全局历史基线高 17.4 个百分点,并保持健康状态下的性能。作者还报告,对六个关节开展留一执行器实验,表明迁移并非局限于单个执行器;另有未见故障类型的迁移评估及实体 Franka Panda 恢复演示。各任务汇总方式、故障设置、重复次数、统计不确定性与实机量化结果尚未验证。 平台推测(待验证):其可复用思路是依据动作指令与实际响应的偏差构建在线能力表征,但机器人关节执行能力并不等同于 EEG 信号漂移。若用于闭环 BCI,需要可靠的控制输出–设备响应历史,并将关节运动学和 Jacobian grounding 改造为设备响应模型;EEG 低信噪比、跨被试差异与少量交互数据可能使用户意图变化和设备能力变化难以区分。可检验的小实验是在固定 EEG 解码器的设备控制任务中施加已知响应衰减,比较能力条件残差校正与参数量匹配的历史基线,检验未见衰减条件下的恢复及正常状态性能。该迁移尚未验证,已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其以自监督能力表征驱动冻结 VLA 残差适应的机制,以及留一执行器故障训练的迁移评估;具体训练协议与实机恢复效果尚需全文核对。

来源:arXiv · 多模态与生成机制 · arxiv.org