跳到正文
OpenReview · Representation learning· Hongcheng Wang; Yuxuan Wang; Fangwei Zhong; Mingdong Wu; Jianwei Zhang; Yizhou Wang; Hao Dong·· 2023-01-01精选AI 评分72

学习用于可泛化视听导航的语义无关与空间感知表征

Learning Semantic-Agnostic and Spatial-Aware Representation for Generalizable Visual-Audio Navigation

AI 导读

基于摘要分析。本文研究机器人视听导航(Visual-audio navigation,VAN):具身智能体根据第一人称视觉与音频观测,搜索声源并导航至其位置。针对已有方法对未听过的声音类别泛化不足及训练样本效率较低的问题,作者提出一种受脑启发的即插即用表征学习方法,通过两个辅助任务促进语义无关、空间感知的表征学习。 核心机制是让视觉与音频输入形成具有空间关联的表征,使导航策略能够适用于包含新声音与新地图的环境。摘要未提供两个辅助任务的具体定义、监督来源、损失形式、训练流程或接入导航模型的方式,因此尚不能判断其如何减少声音语义依赖,以及如何保留定位所需的空间信息。“受脑启发”是作者对方法的描述,不代表已验证的神经机制或 BCI 效果。 作者报告,在 Replica 和 Matterport3D 的逼真三维场景实验中,该方法零样本迁移至未见地图及未听过的声音类别时,取得了更好的泛化表现。摘要未给出具体指标、数值、对照方法,以及两类未见条件的划分方式;样本效率的量化结果、实验协议、消融及统计信息尚未验证。 平台推测(待验证):可供 EEG 研究借鉴的假设是,通过辅助任务弱化与目标任务无关的语义因素,同时保留任务相关结构,可能有助于域泛化。但原任务依赖视听输入及声源与环境的空间关系,不能直接对应 EEG 的电极空间和神经活动;低信噪比、跨被试差异及通道变化也可能使这种约束失效。需先取得全文核对辅助任务及监督要求,才能确定可复用模块与可证伪的小规模实验。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其通过两个辅助任务学习语义无关、空间感知的视听表征,以改善未见声音类别和地图上的导航泛化;具体任务设计、样本效率及其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net