潜在空间 CEM 规划中的分辨率塌缩
Resolution Collapse in Latent-Space CEM Planning
基于摘要分析。本文研究学习型潜在世界模型中的候选动作序列排序失效,提出“分辨率塌缩”:交叉熵方法(CEM)优化的终止帧上,预测候选质量与真实候选质量的相关性降至接近随机水平,而较早帧仍具有排序能力。作者据此提出使用模型仍能分辨候选优劣的帧进行排序,并依据模型自身的分辨率曲线选择该帧。 原问题是连续控制规划,而非 EEG 或 BCI。常规流程以世界模型预测动作序列的最终潜在状态,再按其与目标的距离排序。作者报告,在基于联合嵌入预测世界模型的四个连续控制环境中均观察到上述塌缩。规划时域从五步延长至八步时,塌缩点相应外移三步;在所测试时域中,当前终止帧上的相关性始终接近随机水平,支持失效与 CEM 优化目标有关、而非固定预测跨度的解释,但具体因果机制仍需正文核对。 作者报告,改用分辨率适配的帧排序后,四个环境的规划成功率提高三至十五个百分点;选帧效果呈倒 U 形,过早选帧会损害表现,过晚则回到原有失效区域。两项独立随机代价对照与真实代价在量级上匹配:以相同离散程度的噪声替换适配代价,成功率下降二十三至九十四个百分点;加性版本相对匹配噪声版本提高十一至十三个百分点,p<0.001。这些对照用于检验收益是否仅来自向目标增加一项代价。 作者还报告,不参考成功率、仅依据模型分辨率曲线的选帧规则,在每个环境中均距穷举扫描得到的最优帧成功率不超过两个百分点,并声称不增加测试时成本。环境名称、真实候选质量与相关性的定义、分辨率曲线的获取成本、数据划分、重复次数、消融及统计信息尚未验证。 与 BCI 的直接联系尚未建立;其诊断机制可能适用于使用潜在世界模型进行闭环动作规划的系统,但不能据此推断 EEG 解码收益。已有 EEG 相关工作尚未检索确认,迁移价值待评估。
值得核对其候选排序分辨率诊断、规划时域操纵和随机代价对照:作者报告的失效点随 CEM 优化目标移动,为区分预测误差与规划目标诱发的排序失效提供了具体证据路径。
来源:OpenReview · State space models · openreview.net