作为分布的推理:用于视觉-语言-动作模型的生成式计划潜变量
Reasoning as a Distribution: Generative Plan Latents for Vision-Language-Action Models
基于摘要分析。本文研究视觉-语言-动作(VLA)策略在行动前推理时,单一中间表示难以保留多个有效计划的问题,提出 Generative Plan Latent(GPL),用低维条件分布表示计划层面的推理状态,保留对象、抓取方式或路径等备选决策。 核心机制是让计划状态可被直接操作:无需重新训练 VLA,即可采样计划以覆盖不同选择、按请求选择计划以引导执行,并根据部署结果对计划分布重加权以进行结果适应。摘要未说明条件分布的具体形式、GPL 的训练目标、接入 VLA 的方式及额外训练成本;“无需重新训练 VLA”不能理解为整个方法无需训练。 作者在 SimplerEnv 中结合 π_0 测试上述三种能力,并将分析扩展至 RoboCasa、LIBERO 和迷宫领域。作者报告,在计划引导实验中,执行符合请求的比例由 0.48 提升至 0.94,而将相同引导施加于原生动作分布未获得可靠增益;摘要未提供该数值对应的具体任务构成、试验次数及统计不确定性。作者还指出,显式计划在包含观测尚未确定的决策信息时最有用。实验协议、消融及统计信息尚未验证。 平台推测(待验证):GPL 的潜在借鉴点是区分观测证据与尚待选择的高层计划,而不是直接作为 EEG 解码器。假设 BCI 辅助控制任务存在多个合法目标或动作方案,可探索以计划分布保留歧义,再用用户请求或执行反馈选择;这依赖可定义的计划空间与可用反馈,需要改造条件输入及反馈接口。低信噪比、跨被试漂移和小样本可能使计划概率失准,错误反馈也可能放大偏差。一个可证伪的小实验是在固定 EEG 解码器与共享控制策略下,对比单一计划和计划分布的请求遵循率及任务成功率,并控制候选计划和反馈预算。已有 EEG 相关工作尚未检索确认。
值得关注其将中间计划表示为可采样、可选择、可按部署结果重加权的条件分布这一机制,以及与直接引导动作分布的对照;其对 EEG/BCI 的适用性尚未验证。
来源:arXiv · 在线与高效推理 · arxiv.org