跳到正文
OpenReview · Representation learning· Rui Liu; Wenguan Wang; Yi Yang·· 2024-01-01精选AI 评分77

用于视觉语言导航的体积环境表示

Volumetric Environment Representation for Vision-Language Navigation

AI 导读

基于摘要分析。该研究面向视觉语言导航(VLN):智能体依据视觉观测和自然语言指令在三维环境中导航。作者提出 Volumetric Environment Representation(VER),将多视角二维特征汇聚到结构化三维体素空间,以改善直接使用二维透视图特征时对场景几何与语义表征不完整的问题。 机制上,VER 将物理环境体素化为三维单元,并通过 2D-3D sampling 将多视角二维特征聚合到各单元。模型结合由粗到细的特征提取和多任务学习,联合预测三维占据状态、三维房间布局及三维边界框。智能体利用在线收集的 VER 进行体积状态估计,并建立情景记忆以预测下一步行动。摘要未披露具体网络结构、损失形式、几何信息来源或各监督信号的获取方式。 作者报告,多任务学习得到的环境表示带来了导航性能提升,并在 R2R、REVERIE 和 R4R 上达到作者所称的最先进表现。摘要未提供具体指标、数值、数据划分及对照基线,因此无法判断增益幅度,也不能跨协议比较;实验协议、消融及统计信息尚未验证。 该工作的主要对象是三维场景理解与导航,而非神经信号解码。其机制依赖多视角观测与统一三维空间之间的对应关系,不能直接将 EEG 通道等同于空间体素。现有材料尚不足以建立具体的 EEG/BCI 迁移路径,不据此提出复现实验;相关 EEG 工作尚未检索确认。

阅读价值

值得核对的是将多视角二维特征聚合为体素化三维表示,并通过多任务监督与情景记忆支持导航决策的机制;其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net