Robota-Embed:视觉语言动作预测检索
先了解这件事
基于摘要分析。Robota-Embed针对机器人经验检索需匹配任务、执行阶段及后续动作的问题,联合编码视觉、语言和动作,以预测式检索训练对齐当前状态与历史未来延续,供策略推理使用。 作者构建169.6万个清洗训练锚点;检索基准含4,000个查询、共享8,000条候选。作者报告,移除动作信息的性能损失大于移除视觉。Embed2ICL使DROID-Sim成功率从47.0%升至56.3%,LIBERO困难子集从86.4%升至92.8%;Embed2Evolve在五项ManiSkill任务上达68%,对照直接策略为24%、同协议独立演化方案为33%。 当前仅有该摘要来源,版本变化尚未验证;训练测试隔离、任务划分和统计不确定性尚未验证。平台判断:这是机器人检索与策略条件化成果,不能视为已验证的EEG/BCI效果。
AI 根据报道生成 · 52 分钟前更新
报道时间线
沿着报道,了解事件的不同侧面。
- arXiv · 多模态与生成机制精选Robota-Embed:面向机器人上下文学习与演化的统一 VLA 嵌入
基于摘要分析。该研究针对机器人经验检索需同时匹配任务、执行阶段及后续动作的问题,提出 Robota-Embed,将视觉、语言与动作联合编码到当前状态查询和已记录的未来延续中,通过预测式检索训练对齐二者,使历史执行片段可作为策略推理时的上下文。研究主要对象是机器人检索与策略条件化,并非 EEG/BCI。 作者构建了包含 1,695,684 个清洗后训练锚点的多来源语料,并提出 Robota-Embed-Bench,包含 4,000 个查询和共享的 8,000 条候选记录。作者报告,在该检索评估中,片段级和回合级 R@1 分别为 47.33% 和 81.77%,较不含动作信息的 Gemini Embedding 2 分别高 22.09 和 33.47 个百分点;受控检索实验显示,去除原生动作信息造成的性能下降大于去除视觉信息。 应用方面,Embed2ICL 将检索经验用于无需训练及基于训练的策略条件化。作者报告,DROID-Sim 成功率由 47.0% 提升至 56.3%,LIBERO 困难子集由 86.4% 提升至 92.8%,并在真实机器人上改善任务进展。Embed2Evolve 利用执行反馈扩充任务局部记忆,并围绕冻结的 GPT-6 Astra 策略调整上下文使用。作者报告,在五项 ManiSkill 任务上,其成功率为 68%,对照 GPT-6 Astra Direct 为 24%,相同协议下使用 Omni-Embed-Nemotron-3B 独立演化的 harness 为 33%;相较后一对照,按成功与失败均计入的每次测试执行统计,策略 token 用量约减少 79.5%。具体任务划分、训练与测试隔离、消融细节及统计信息尚未验证。 平台推测(待验证):可迁移的机制假设是以当前状态检索有用的历史后续过程,而非直接迁移机器人动作表征。若用于具有同步 EEG、任务提示和动作反馈的闭环数据,需要改造 EEG 编码器、时间对齐与候选片段定义;低信噪比、跨被试差异、通道变化及小数据可能使检索依赖被试特征而非任务状态。一个可证伪的小实验是在固定被试内划分和候选库下,对比仅 EEG 检索与 EEG 加动作反馈检索的后续状态匹配能力,并核对时间重叠与标签可用性。该设想不构成已验证的 BCI 效果,已有 EEG 相关工作尚未检索确认。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。