超越成功率：视觉-语言-动作系统中记忆的干预式评估

基于摘要分析。本文研究视觉-语言-动作（VLA）机器人系统是否真正利用了记忆中的任务相关事实，提出 Interventional Memory Evaluation Protocol（IMEP），并引入需要历史信息才能正确决策的 ChainBench。核心贡献是将记忆带来的总体收益、发挥作用的条件、对结果的影响及其事实特异性分开评估，而非仅依赖成功率消融。 方法上，IMEP 在记忆检索接口比较目标事实替换、保持事实不变的替换、最小数值扰动及完全相同的副本，并将决策正确性与动作执行成功分别评估。评估覆盖回合内、跨回合和智能体记忆。作者指出，常规成功率消融可能同时改变信息与计算过程，而汇总结果也可能掩盖方向相反的个体变化。 作者报告，在跨回合学习型记忆库实验中，一个末位单位（ULP）的数值干预连同其安装过程，使按随机种子配对的结果中有 11.9% 发生变化；改变关键事实相较于保持事实不变的替换，没有显示出明确的额外影响。因此，这一现象不能直接归因于系统对关键事实的使用，也不能将其简化为纯数值扰动的独立效应。 在 ChainBench 中，正确决策依赖当前观测不可提供的历史信息。作者报告，在共享录制执行的条件下，完整记忆配置将任务成功率从 39.1% 提升至 74.3%，与 oracle-decision 条件相当。这支持正确历史信息能够帮助机器人决策，但并不自动证明任意记忆系统都通过利用任务相关事实实现收益。 实验规模、具体任务组成、记忆实现、干预安装细节、消融及统计信息尚未验证。本文主要研究对象是机器人记忆评估，摘要未提供 EEG 或 BCI 验证，不能据此推断神经信号任务中的有效性。