Vision-Predictor-Action:通过神经符号 JEPA 预测器迈向高效具身 AI
Vision-Predictor-Action: Towards Efficient Embodied AI via Neuro-Symbolic JEPA Predictors
基于摘要分析。本文针对机器人 Vision-Language-Action(VLA)模型逐 token 生成动作时,推理延迟随动作序列长度增长、限制闭环控制频率的问题,提出目标条件化的 Vision-Predictor-Action(VPA)。其主要贡献是用潜在控制循环替代自回归解码,将离散技能选择、潜在状态预测和整段动作生成结合起来;研究对象是具身机器人控制,而非 EEG 或 BCI。 机制上,共享视觉编码器与冻结的文本编码器对观测、目标图像和指令进行嵌入;神经符号选择器选取离散技能,Joint-Embedding Predictive Architecture(JEPA)预测器预测下一潜在状态,flow-matching 求解器通过少量积分步骤生成整个动作块。作者提出,该设计使每个决策步骤中的串行网络评估次数不依赖动作时域长度;这不等同于所有计算成本均与动作长度无关。摘要还提及推理复杂度、防止表征坍塌的正则化,以及潜在子目标阈值化限制任务阶段间误差累积的条件,具体形式尚未验证。 作者报告,在 LIBERO-10 初步验证中,可训练模型参数少于 20M,检查点小于 75 MB,均不计冻结的 63.4M 参数 CLIP 文本编码器。单摄像头参考配置在 Apple M4 上每个决策步骤耗时 10–14 ms;另一项双摄像头策略仅使用 LIBERO-10 示范数据、在单 GPU 上训练不足三小时后,在 200 个评估回合中取得 40.0% 成功率。上述延迟与成功率来自不同摄像头配置,不能直接拼接为同一策略的速度—性能结论。 这些结果来自单次训练运行,作者将其定位为初步概念验证。摘要提供了代码、权重及归档地址,但尚未核验实现与复现条件;实验划分、比较基线、消融、统计不确定性及运行计时范围尚未验证。其机制依赖视觉、语言目标与机器人动作数据,当前材料未建立向 EEG/BCI 迁移的具体对应关系;已有 EEG 相关工作尚未检索确认。
值得核对其以 JEPA 潜在状态预测与 flow-matching 动作块生成替代逐 token 解码的计算路径,但现有证据仅为 LIBERO-10 上的单次训练概念验证,尚不能据此认定其具有性能优势或 BCI 适用性。
来源:arXiv · 多模态与生成机制 · arxiv.org