Robota-Embed:面向机器人上下文学习与演化的统一 VLA 嵌入
Robota-Embed: Unified VLA Embeddings for Robot In-Context Learning and Evolution
基于摘要分析。该研究针对机器人经验检索需同时匹配任务、执行阶段及后续动作的问题,提出 Robota-Embed,将视觉、语言与动作联合编码到当前状态查询和已记录的未来延续中,通过预测式检索训练对齐二者,使历史执行片段可作为策略推理时的上下文。研究主要对象是机器人检索与策略条件化,并非 EEG/BCI。 作者构建了包含 1,695,684 个清洗后训练锚点的多来源语料,并提出 Robota-Embed-Bench,包含 4,000 个查询和共享的 8,000 条候选记录。作者报告,在该检索评估中,片段级和回合级 R@1 分别为 47.33% 和 81.77%,较不含动作信息的 Gemini Embedding 2 分别高 22.09 和 33.47 个百分点;受控检索实验显示,去除原生动作信息造成的性能下降大于去除视觉信息。 应用方面,Embed2ICL 将检索经验用于无需训练及基于训练的策略条件化。作者报告,DROID-Sim 成功率由 47.0% 提升至 56.3%,LIBERO 困难子集由 86.4% 提升至 92.8%,并在真实机器人上改善任务进展。Embed2Evolve 利用执行反馈扩充任务局部记忆,并围绕冻结的 GPT-6 Astra 策略调整上下文使用。作者报告,在五项 ManiSkill 任务上,其成功率为 68%,对照 GPT-6 Astra Direct 为 24%,相同协议下使用 Omni-Embed-Nemotron-3B 独立演化的 harness 为 33%;相较后一对照,按成功与失败均计入的每次测试执行统计,策略 token 用量约减少 79.5%。具体任务划分、训练与测试隔离、消融细节及统计信息尚未验证。 平台推测(待验证):可迁移的机制假设是以当前状态检索有用的历史后续过程,而非直接迁移机器人动作表征。若用于具有同步 EEG、任务提示和动作反馈的闭环数据,需要改造 EEG 编码器、时间对齐与候选片段定义;低信噪比、跨被试差异、通道变化及小数据可能使检索依赖被试特征而非任务状态。一个可证伪的小实验是在固定被试内划分和候选库下,对比仅 EEG 检索与 EEG 加动作反馈检索的后续状态匹配能力,并核对时间重叠与标签可用性。该设想不构成已验证的 BCI 效果,已有 EEG 相关工作尚未检索确认。
值得核对其预测式检索训练与动作模态消融:作者报告动作信息对机器人经验检索有显著贡献,但该机制对 EEG/BCI 的适用性尚未验证。
来源:arXiv · 多模态与生成机制 · arxiv.org