WorldConsistMem:表征敏感的状态转移重建评估
WorldConsistMem: Evaluating Representation-Sensitive State-Transition Reconstruction
基于摘要分析。WorldConsistMem 研究动态世界中的长期记忆系统能否从历史证据重建状态变化,而不只是检索相关记录;其核心贡献是将证据可得性与状态转移重建分开评估,并检验提示与输出表示对测量结果的影响。 任务要求回答前一状态、转移事件及后一状态,即 prev/event/next。作者在固定 GPT-4.1 快照、按字节数匹配的 BM25 证据包、gold-support recall = 1 的条件下报告:通用回答接口仅正确重建 13/150 个转移(8.7%);预注册的组合干预同时明确三元状态表示并规定转移子类型对应的规范输出 schema,在相同证据与模型快照下达到 109/150。在原始“显式或操作性支持”切片 S1+S2(93 个证据包)上,作者报告正确数由 13/93 升至 52/93,配对提升为 41.9 个百分点,bundle-bootstrap 95% CI 为 [31.2, 52.7],McNemar p ≈ 3.8 × 10^−11。 在获得结果后开展的前瞻性因素拆分中,作者报告仅使用 schema 时为 90/150,仅使用显式状态表示时为 39/150;控制另一因素后,两者仍各有正向增益,交互效应与加性解释相容。因此,摘要支持的结论是该基准下的重建表现高度依赖表示与接口,其中 schema 是测得贡献更大的因素,而非模型固有能力不足或任务已被解决。 作者报告取证审计的泄漏检查为 PASS,且在 97 个真正的非格式改进中,未发现仅靠格式或评分器弱点获胜的案例;这些审计结论尚未独立核验。作者同时报告,文档转移及原始标签 S2 案例在所有实验臂中仍为 0/34,组合接口下 CEO 转移达到 23/30,提示收益存在明显类型差异。 尚需全文核对历史构造、子类型定义、预注册范围、评分规则及审计细节。结论限于所用基准、提示组合与 GPT-4.1 快照,不能直接外推至其他长期记忆系统,也不构成 EEG 或 BCI 有效性证据。
该评估在证据支持完整且模型快照固定的条件下,区分信息检索与状态转移重建,并通过拆分干预考察输出 schema 与显式状态表示的贡献,适合核对长期记忆系统的评估接口敏感性。
来源:OpenReview · State space models · openreview.net