跳到正文
OpenReview · Representation learning· Bowen Pan; Rameswar Panda; SouYoung Jin; Rogério Feris; Aude Oliva; Phillip Isola; Yoon Kim·· 2024-01-01精选AI 评分75

LangNav:以语言作为导航的感知表征

LangNav: Language as a Perceptual Representation for Navigation

AI 导读

基于摘要分析。该研究针对低数据条件下的视觉与语言导航(VLN),提出 LangNav:先将智能体看到的场景转换为自然语言描述,再微调预训练语言模型,依据当前场景描述、轨迹历史和导航指令选择动作。其主要研究对象是具身导航,而非 EEG 或 BCI。 核心机制是利用现成的图像描述与目标检测系统,将每个时间步的第一视角全景视图转化为离散语言表征。与让预训练语言模型直接处理连续视觉特征的常见方案相比,LangNav 将感知与决策之间的接口改为文本;这一设计依赖视觉系统能否保留完成导航所需的对象和空间信息,也依赖预训练语言模型的知识及专家轨迹监督。 摘要围绕 R2R VLN benchmark 列出三类探索:提示 GPT-4 生成合成轨迹以微调较小语言模型;将 ALFRED 模拟环境中学到的策略迁移到更逼真的 R2R 环境;以及结合视觉表征与语言表征。作者报告,在仅有 10–100 条专家轨迹的低数据设置下,该方法优于依赖视觉特征的基线,但摘要未提供具体指标、提升幅度及各项实验对应的数据划分。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的机制假设是以紧凑语义表征连接感知与下游决策,但 EEG 并不像图像那样天然具有可靠的文本描述接口。若用于 EEG 辅助决策,需要重新构建并验证信号到语义的映射;低信噪比、跨被试和通道差异可能使文本化过程丢失关键时序信息或产生错误语义。一个可证伪的小实验是在固定 EEG 编码器与相同训练数据条件下,对比直接特征决策与离散语义接口决策,采用严格的跨被试划分检验语义接口是否保留任务信息。该实验仅为平台假设,已有相关 EEG 工作尚未检索确认。

阅读价值

值得关注的是将连续视觉特征替换为离散语言描述的感知接口,以及其在少量专家轨迹下与视觉特征基线的对照;对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net