跳到正文
OpenReview · State space models· Kaichen Huang; Shenghua Wan; Minghao Shao; Hai-Hang Sun; Le Gan; Shuai Feng; De-Chuan Zhan·· 2024-09-26精选AI 评分72

利用分离式世界模型在视觉干扰环境中进行探索

Leveraging Separated World Model for Exploration in Visually Distracted Environments

AI 导读

基于摘要分析。本文研究基于模型的无监督强化学习(URL)中,视觉观测干扰导致内在奖励估计偏差、进而误导探索的问题,提出双层优化框架 Separation-assisted eXplorer(SeeX),以分离式世界模型引导任务相关探索。原论文的主要研究对象是运动控制与操作任务,并非 EEG 或 BCI。 机制上,内层优化训练分离式世界模型,提取外生与内生信息,通过最小化不确定性来确保任务相关性;外层优化则利用内生状态空间生成的想象轨迹学习策略,最大化任务相关的不确定性。其关键思路是区分观测中的干扰与适合驱动探索的信息,而不是直接对全部视觉变化赋予探索价值。摘要未说明外生、内生变量的具体定义、分离约束、损失形式或不确定性估计方式,这些均需全文核对。 作者报告,SeeX 在多项运动控制与操作任务的评估中表现有效。摘要未提供具体环境、数据规模、对照基线、指标或数值,因此尚不能判断改进幅度、适用范围及计算代价;实验协议、消融及统计信息尚未验证。复现需核对干扰生成方式、世界模型训练流程、想象轨迹构造与策略优化设置。 平台推测(待验证):若 EEG 驱动的闭环控制任务中,存在可区分的任务相关动态与外源干扰,该框架可能为避免探索策略追逐伪迹提供机制参考;这是一项迁移假设,而非已证实的 BCI 效果。可参考的是状态分离和仅在任务相关潜在空间中规划的思路,需改造的是 EEG 编码、干扰定义及动作—状态动态建模。其适用依赖可学习的时序交互数据,而监督要求和训练规模尚未验证;低信噪比、跨被试差异、通道变化及小数据可能导致任务信号被误归为干扰。可在具有已知控制目标的简化闭环任务中注入可控 EEG 伪迹,比较分离与不分离世界模型的目标达成表现及伪迹敏感性,检验该假设。已有 EEG 相关工作尚未检索确认。

阅读价值

SeeX 将观测干扰分离与内在奖励驱动的探索结合,值得核对其内生状态是否保留任务信息,以及探索收益是否确实来自干扰抑制;其 EEG/BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net