OGPO:面向具备恢复能力的 Vision-Language-Action 模型的离线目标条件策略优化
OGPO: Offline Goal-conditioned Policy Optimization for Recoverable Vision-Language-Action Models
基于摘要分析。本文研究机器人操作中 Vision-Language-Action(VLA)模型偏离示范轨迹后的任务恢复问题,提出离线目标条件策略优化框架 OGPO,将后训练重点从复现专家逐步动作转向到达语义关键状态,而非研究 EEG 解码或 BCI 控制。 其核心机制是对离线示范轨迹进行自适应的语义关键状态重标注,并构造目标条件过程奖励,以优化策略到达代表任务进展的状态。作者认为,逐步动作监督容易使策略依赖示范特定的动作路径,而关键状态可达性学习可为偏离示范后的恢复提供目标导向。该框架不要求额外在线交互,但摘要未给出关键状态提取、奖励计算、策略优化目标及离线状态覆盖的具体实现。 作者报告,在 LIBERO 和 MetaWorld 上,OGPO 相较标准监督微调持续改善 VLA 策略表现;在 LIBERO-Plus 及本文提出的执行中扰动基准 LIBERO-ReAct 上,评估进一步显示其在分布偏移和可恢复的非示范状态下具有更强的鲁棒性与目标导向恢复能力。摘要未提供数值、具体任务划分、扰动设置或统计信息,不能据此判断增益幅度及适用边界。实验协议、消融及统计信息尚未验证。 平台推测(待验证):这一机制可能适用于以 BCI 为输入的辅助机器人执行端,但不等于改善神经信号解码。迁移假设依赖可识别的任务进展状态和足够覆盖恢复情境的离线轨迹;可复用目标条件优化思路,需改造 BCI 意图到机器人目标的接口,并核对误解码与指令延迟是否使状态超出可恢复范围。一个可证伪的小实验是在固定解码器与机器人任务下,注入相同的短暂指令错误,对照标准监督微调与 OGPO 的任务完成及恢复表现。已有相关 EEG/BCI 工作尚未检索确认。
值得关注其以语义关键状态可达性替代逐步动作模仿的离线后训练机制,以及针对执行中扰动的恢复能力评估;具体收益和复现条件仍需全文核对。
来源:arXiv · 多模态与生成机制 · arxiv.org