跳到正文
OpenReview · State space models·· 29 天前精选AI 评分77

用于基于模型规划的语言驱动潜在目标预测

Latent Goal Prediction from Language for Model-Based Planning

AI 导读

基于摘要分析。该研究面向导航与操控中的语言指令驱动规划,提出分层世界模型 LAGO(Latent Goal Prediction from Language),将语言指令转化为中间潜在子目标,并在共享潜空间中规划动作。核心贡献是用同一个预测器、同一个回归目标同时学习动作条件动力学预测和语言目标落地,而非依赖独立的大型生成模型来指定目标。 机制上,LAGO 在每个规划步骤根据语言指令预测一串潜在子目标,再通过 soft-minimum 对齐代价优化动作序列。该代价鼓励规划结果接近子目标,但不要求遵循刚性的路径;随着智能体状态变化,模型重新预测子目标,把长时程指令转化为局部可处理的目标。摘要未给出回归损失与对齐代价的具体公式,也未明确潜空间表征、训练数据组织和推理优化细节,这些尚需全文核对。 作者报告,在覆盖导航与操控的环境中,LAGO 优于扁平及分层的图像目标规划器;最大收益出现在需要沿弯曲路径、满足危险区域约束的长时程导航中,其成功率超过使用相同演示数据训练的目标条件行为克隆策略的两倍。作者还报告,在世界模型自身潜空间中对语言进行落地,优于视觉语言奖励模型,包括一个使用真实动力学进行规划的对照。摘要未提供具体成功率、环境规模、重复次数与统计不确定性,不能据此量化绝对增益或比较不同协议。 主要阅读价值在于语言子目标与动力学预测的共享建模,以及允许路径灵活变化的子目标对齐机制。实验协议、消融及统计信息尚未验证,尤其需要核对子目标重预测、共享预测器与对齐代价各自的贡献,以及不同对照的训练和规划预算。研究对象并非 EEG 或 BCI,现有材料不足以确认其神经信号应用价值;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 LAGO 如何以共享潜空间和单一回归目标统一语言目标落地与动作条件动力学预测,以及动态重预测子目标对长时程规划的实际贡献;摘要中的优势仍需结合全文实验协议验证。

来源:OpenReview · State space models · openreview.net