行动前预判:未来状态条件化的视觉语言导航
Anticipate Before Acting: Future-State-Conditioned Vision-Language Navigation
基于摘要分析。该研究针对视觉语言导航(VLN)中标准行为克隆仅监督下一步动作、未显式要求策略状态预测未来视觉结果的问题,提出 Future-State-Conditioned VLN(FSC-VLN),通过仅在训练期使用的未来状态监督,将未来观测信息蒸馏进因果策略状态,部署时仍只依赖过去与当前观测。 机制上,作者先以专家轨迹中的未来图像作为特权输入进行诊断;作者报告,这类输入可显著改善导航,但部署时无法获得。FSC-VLN 因而引入 future-query token,在训练时将其表示与未来 Δ 步的冻结视觉嵌入对齐,并以双查询设计分离未来查询与动作查询。摘要称该设计仅增加两个可学习的前缀 token,保持基线推理模式;具体损失形式、Δ 的选择及实际计算开销尚未验证。 作者报告,在 R2R val-unseen 上的两种训练数据设置中,FSC-VLN 相比 StreamVLN 风格基线均改善了 SR、OSR 和 SPL,且长时程导航回合收益更大;作者还报告消融支持双查询设计。摘要未给出具体分数及数据设置细节,实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的机制假设是,训练期未来状态监督可能帮助因果 EEG 解码器学习具有预测性的时序表示,而非直接迁移导航策略。该假设依赖有时间顺序且与任务相关的未来监督,以及可靠的目标表征;需将视觉编码器和动作输出改为 EEG 表征模块与目标任务输出。EEG 的低信噪比、跨被试差异、通道变化及小样本可能使未来预测主要捕捉噪声或个体特征。一个可证伪的小实验是在固定 Cross-subject 划分和相同因果输入窗口下,对比下一步任务监督与加入训练期未来表征对齐的模型,检验留出被试收益,并确保推理不访问未来窗口。相关 EEG 工作尚未检索确认。
值得核对其如何以训练期未来视觉监督增强因果策略状态,并重点检验双查询设计及长时程导航收益;这些证据目前限于 VLN,尚不能视为 EEG/BCI 有效性的依据。
来源:OpenReview · State space models · openreview.net