跳到正文
OpenReview · State space models· Yan Gao; Jing Wu; Xintong Yang; Ze Ji·· 2024-01-01精选AI 评分72

基于 Predictive Neighbouring Space Scoring 的高效无地图导航分层强化学习

Efficient Hierarchical Reinforcement Learning for Mapless Navigation With Predictive Neighbouring Space Scoring

AI 导读

基于摘要分析。本文研究机器人无地图导航中的稀疏奖励、长决策时域及高维传感器输入问题,提出结合 Predictive Neighbouring Space Scoring(PNSS)的分层强化学习框架,通过预测候选子目标周围的可探索空间,为高层策略提供紧凑的子目标选择表征。 核心机制是根据当前 RGB 图像与 Lidar 扫描,利用深度神经网络估计机器人周围若干候选位置的空间开放程度,以这些位置的 PNSS 值辅助选择短期目标,再由低层策略执行导航,将长程任务拆分为多个短程片段。研究还考察候选位置布局,并在高层策略的奖励函数中引入惩罚项,使子目标选择考虑低层策略的执行表现;评分模型的具体监督方式、网络结构及惩罚项形式尚未验证。 作者报告,在逼真仿真环境的评估中,加入 PNSS 相比仅使用 Lidar、或使用 Lidar 与编码后 RGB 特征的基线持续改善导航表现,所设计的候选位置布局也有利于较长距离任务。材料未提供具体指标、数值、训练测试划分及统计信息,尚不能量化收益或核对各对照的实验条件。 适用范围方面,作者明确指出智能体仅在 iGibson 的家庭环境中训练,应用于其他场景需要更具代表性的额外训练;复杂真实环境验证及仿真到现实差距仍是后续工作。本研究的主要对象是机器人导航,而非 EEG 解码或 BCI;现有材料未建立候选空间评分与神经信号建模之间的具体对应关系,因此不据此提出 EEG 迁移效果或复现实验建议。

阅读价值

值得关注的是以候选位置的可探索空间评分压缩导航状态,并在高层奖励中考虑低层执行表现的分层决策机制;其有效性目前由作者报告的仿真评估支持,不能据此认定具有 EEG/BCI 迁移价值。

来源:OpenReview · State space models · openreview.net