跳到正文
OpenReview · Representation learning· Haresh Karnan; Elvin Yang; Daniel Farkash; Garrett Warnell; Joydeep Biswas; Peter Stone·· 2023-01-01精选AI 评分76

STERLING:从无约束机器人经验中进行自监督地形表征学习

STERLING: Self-Supervised Terrain Representation Learning from Unconstrained Robot Experience

AI 导读

STERLING 面向机器人自主越野导航中的地形感知问题,利用易于采集、无标签且不要求专家操作的机器人经验学习地形表征,旨在减少对人工标签、手工特征与代价函数以及专家示范的依赖。基于摘要分析,未取得论文全文。 核心机制是通过非对比表征学习构建多模态自监督目标,使所得表征服务于地形感知导航。摘要未说明具体传感模态、模态配对方式、损失形式、网络结构及训练规模;“无约束”主要描述经验采集不附加专家操作等要求,不能据此推断模型不依赖模态对应关系或其他数据结构。 作者报告,在真实越野环境的机器人实验中,STERLING 特征用于偏好对齐视觉导航时,其偏好对齐表现与全监督方法相当,并优于所比较的其他先进方法;摘要未给出具体基线名称、指标数值和数据划分。作者另报告,在一条长 3 英里的步道上进行自主行进实验,系统完成任务且仅需两次人工干预。该结果对应具体路线与部署条件,不能直接外推至其他地形或环境。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 与其他同步信号存在可重复的任务相关共享结构,其多模态非对比自监督思路可能用于探索无标签 EEG 表征学习。可借鉴的是跨模态自监督目标的设计思路,而非地形导航任务本身;需要改造信号编码、时间对齐及下游评估。低信噪比、运动伪迹、跨被试差异、通道变化和小数据条件可能使表征偏向共享噪声而非神经活动。一个可证伪的小实验是在固定被试划分与相同标注预算下,比较多模态非对比预训练、单模态自监督和从头训练的下游表现,并用打乱模态配对检验收益是否依赖真实对应关系。以上不是论文已验证的 EEG/BCI 结果,相关 EEG 工作尚未检索确认。

阅读价值

值得关注其利用无标签、非专家机器人经验开展多模态非对比自监督学习的机制;作者报告了真实越野导航验证,但其对 EEG 表征学习的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net