用于强化学习场景表征的基于查询的语义高斯场
Query-based Semantic Gaussian Field for Scene Representation in Reinforcement Learning
基于摘要分析。本文研究强化学习(RL)中的三维场景潜在表征,提出基于查询的语义高斯场框架,以 3D Gaussian Splatting(3DGS)结合几何与细粒度语义信息,改善供下游 RL 任务使用的场景向量。 作者将现有 NeRF 相关方法的困难归结为两点:体渲染中的低效密集采样妨碍三维结构感知,以及对自由空间与占据空间的均等处理削弱细粒度语义表达。针对这些问题,框架采用 Query-based Generalizable 3DGS,将 3DGS 与场景表征学习连接起来;再通过 Hierarchical Semantics Encoding,将细粒度语义特征关联到三维高斯,并进一步蒸馏进场景表征向量。摘要未披露查询构造、语义监督来源、损失形式及具体训练流程,这些机制细节尚未验证。 作者报告,在 Maniskill2 与 Robomimic 两个 RL 平台、共 10 个任务上,与另外 5 个基线比较,该方法在 8 个任务中取得最高成功率,在其余 2 个任务中排名第二。摘要未提供各任务成功率、基线名称、数据划分、重复试验次数或统计不确定性,因此不能仅凭排名判断收益幅度与稳定性。实验协议、消融及统计信息尚未验证,复现所需的数据配置、实现与计算条件也需查阅全文确认。 本文的直接研究对象是 RL 中的三维场景表征,而非 EEG 解码或 BCI。现有材料未建立三维高斯场机制与神经信号瓶颈之间的具体对应关系,不据此推断 BCI 有效性;相关 EEG 工作尚未检索确认。
值得关注其将可泛化 3DGS 与细粒度语义编码结合以学习 RL 场景表征的机制,但摘要中的任务成功率排序尚需结合完整评估协议与消融验证。
来源:OpenReview · Representation learning · openreview.net