世界模型应将世界存在哪里?4 KB 显式状态优于两类隐式记忆
Where Should a World Model Keep the World? 4 KB of Explicit State Beats Both Implicit Memories
基于摘要分析。本文研究小型动作条件世界模型如何保存已观测的静态空间信息,主要对象是具有自我中心视角的类 Sokoban 离散网格世界,而非 EEG 或 BCI。作者训练了一个 3.09M 参数模型,以逐像素瓦片类别分布生成场景,并比较 K 帧堆叠、ConvGRU 隐式记忆与外置世界坐标显式状态。 作者报告,在预测时域为 32 的评估中,像素 Accuracy 为 0.750,但地板类别召回率为 0.99,箱子与目标类别召回率约为 0.40。作者将这种“场景逐渐清空”的现象解释为:逐像素边缘分布的 argmax 偏向占多数的地板类别,整体 Accuracy 因而掩盖关键物体丢失。类别平衡交叉熵并未解决信息不足:在 α=1 时,目标类别召回率由 0.396 升至 0.543,Precision 却由 0.940 降至 0.031;逐瓦片采样也主要是在牺牲 Precision 后获得有限召回改善。 针对已见瓦片的往返记忆测试,作者报告,在其计算预算下,K 帧堆叠具有硬性遗忘时域,ConvGRU 状态则逐渐衰减,两者在 N=12 时的瓦片召回率降至 0.63–0.77。将静态几何移至 4 KB 世界坐标显式状态后,无需额外训练,各受测架构在 N=12 时的召回率均达到 0.992,每帧增加 2.0 ms。相机位置由模型自身生成的帧推断,而非读取特权状态;摘要称两项作弊对照未出现相应提升,但对照构造与 N 的具体定义尚需全文核对。 作者还报告,仅在模型生成环境中训练的 PPO 策略达到真实游戏回报的 88%;加入显式缓冲区后该回报不变。作者认为,这是因为任务并未考查被修复的静态几何,提示下游回报不一定能反映世界记忆质量。该比例不是成功率,也不能直接推广到其他任务。实验协议、数据划分、消融、统计信息及复现资源尚未验证;摘要不支持将这一空间记忆机制直接视为已验证的 EEG/BCI 方法。
值得阅读的是作者将离散世界模型的类别预测失真、空间记忆失效与下游回报脱钩分别检验,但显式状态的优势目前仅由所述网格世界与计算预算下的摘要结果支持。
来源:OpenReview · State space models · openreview.net