以共享的视频预训练表征闭合机器人操作的行动—预测—评估循环

基于摘要分析。本文研究机器人操作中策略、未来状态预测与价值评估使用不同表征空间，导致预测状态难以直接用于策略改进的问题。作者提出 Pivot，以冻结的视频预训练表征作为共享状态空间，使策略读取状态、动作条件动力学预测后继状态、价值模型结合指令评价预测状态，从而支持无需重建观测或转换表征的递归潜空间想象。 为使通用视频表征适用于操作任务，Pivot 引入两类任务感知监督：一是从图像—指令归因中提取语义可供性先验，强调交互关键变化，用于训练任务相关的潜空间动力学；二是结合时间差分学习与密集图像—指令监督，学习任务正则化价值函数，为想象状态估计任务进展，再由潜空间展开引导策略改进。其主要方法特点是共享表征与面向任务的动力学、价值监督相结合，而非单独使用视频特征。 作者报告，在 CALVIN 上，模仿策略的平均成功序列长度从 3.946 提升至 4.294；在五阶段真实机器人任务上，平均完成阶段数从 1.6 提升至 4.3。作者还报告，受控消融显示两类任务感知监督均有贡献。摘要未提供具体数据划分、试验次数、误差范围、视频预训练模型及监督构建细节，实验协议、消融及统计信息尚未验证。 本文的主要研究对象是视觉机器人操作，并未提供 EEG 或 BCI 验证。其方法依赖视频状态、动作序列和图像—指令监督；目前材料不足以建立向神经信号任务迁移的具体机制对应，不宜将机器人结果视为 BCI 有效性证据。