跳到正文
OpenReview · State space models·· 27 天前精选AI 评分78

世界模型何时应信任其想象?局部经验支持度预测递归 rollout 失效

When Should a World Model Trust Its Imagination? Local Empirical Support Predicts Recursive Rollout Failure

AI 导读

基于摘要分析。本文研究世界模型规划器递归评估想象状态时,状态偏离训练数据支持区域是否能提前预示后续预测失效,而不只是反映当前一步预测已经出错。其贡献是以学习潜空间中的平均 k 近邻距离作为局部经验支持度探针,并区分这一诊断信号的预测价值与控制干预价值。 机制与评估:作者报告,在控制当前一步误差、rollout 位置和潜变量范数后,局部支持度仍能为多个未来时间偏移处的预测失效提供额外信息。作者报告,这一关系在五个基于状态输入的 MuJoCo 任务、视觉输入、确定性残差动力学模型,以及 Dreamer 风格的循环状态空间模型(RSSM)中均得到检验。摘要未提供任务完整名单、距离计算细节、训练集划分或具体效果数值。 对照与结果:作者报告,所测试的全局分布偏移幅度指标不能捕捉这一关系;在进一步控制转移预测分歧和 Mahalanobis distance 后,局部支持度仍保留部分信息,但 Hopper 中的剩余增益明显小于 HalfCheetah。较一致的几何现象是:在所有密集的状态输入审查及每个 RSSM 随机种子实验中,与未来失效相关的想象状态都更远离训练数据支持区域。 干预边界:作者报告,支持度分数变得更有预测性时,固定支持度惩罚的控制效果反而可能变差;百分位校准也可能削弱原本有效的原始惩罚。因此,摘要支持将局部经验支持度视为前瞻性诊断信号,不能据此认定它已构成可靠的规划修正策略。全文中的失效定义、未来偏移范围、对照实现、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 潜空间模型也采用递归预测,可检验局部训练支持度能否诊断误差累积;这一假设依赖潜空间距离确实反映数据支持,而非被试或通道差异。可复用的是近邻探针,需改造的是 EEG 表征与参考样本库;低信噪比、跨被试漂移和小数据可能使距离失真。小规模验证可在固定 EEG 递归预测模型上,检验该距离在控制当前一步误差后是否仍能预测后续误差,并将惩罚干预另行评估。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是作者将局部训练数据支持度对未来 rollout 失效的诊断价值与其作为控制惩罚项的实际效用分开验证,避免把风险预测能力直接等同于干预收益。

来源:OpenReview · State space models · openreview.net