跳到正文
OpenReview · Representation learning· Bowen Pan; Rameswar Panda; SouYoung Jin; Rogério Feris; Aude Oliva; Phillip Isola; Yoon Kim·· 2023-01-01精选AI 评分75

LangNav:以语言作为导航的感知表征

LangNav: Language as a Perceptual Representation for Navigation

AI 导读

基于摘要分析。该研究面向低数据条件下的视觉与语言导航(VLN),提出 LangNav:先将智能体的视觉观测转换为自然语言描述,再微调预训练语言模型,依据导航指令、当前观测和轨迹历史选择动作。其主要研究对象是具身导航,而非 EEG 或 BCI。 核心机制是使用现成的图像描述与目标检测系统,将每个时间步的第一视角全景观测转为离散语言表征。与让预训练语言模型直接处理预训练视觉模型输出的连续视觉特征不同,该方法通过文本接口连接视觉感知与动作决策,依赖视觉系统提供的信息及用于策略学习的轨迹数据。 摘要列出三类探索:通过提示 GPT-4 生成合成轨迹并微调较小语言模型;将 ALFRED 模拟环境中学到的策略迁移到更真实的 R2R 环境;结合视觉表征与语言表征进行 VLN。作者报告,在 R2R 基准仅有 10–100 条专家轨迹的低数据设置下,LangNav 优于依赖视觉特征的基线。摘要未提供具体指标、提升幅度及各实验的数据划分,实验协议、消融及统计信息尚未验证。 平台推测(待验证):可供 EEG 研究考察的机制是假设将连续观测压缩为任务相关的离散语义,再交由语言模型决策,有助于减少下游标注需求。但 EEG 不具备图像描述或目标检测那样直接的语义接口,不能将导航结果视为 BCI 有效性的证据。可复用的是文本化中间表征与历史条件决策框架,需改造的是 EEG 到语义的映射及动作输出;低信噪比、跨被试与通道差异可能使离散化丢失关键时序信息,小数据也可能不足以训练可靠映射。一个可证伪的小实验是:在同一 EEG 任务、相同标签预算与固定跨被试划分下,比较连续特征接口和离散语义接口,并核对误差是否集中于语义转换环节。相关 EEG 工作尚未检索确认。

阅读价值

值得阅读的是以离散语言描述替代连续视觉特征的低数据导航路线,作者报告其在少量专家轨迹条件下优于视觉特征基线,但这一优势是否适用于 EEG 表征尚未验证。

来源:OpenReview · Representation learning · openreview.net