基于演化想象的信任校准 VLA 策略后训练

基于摘要分析。研究面向通过模仿学习预训练的 Vision-Language-Action（VLA）模型在示范覆盖范围之外的部署，提出 Model-Evolving Reinforcement Learning（MERL），将策略优化与在线更新的模拟器耦合，以缓解无模型强化学习交互成本高、基于模型的强化学习可能利用不可靠想象数据之间的矛盾。 模拟器由 world model 与 reward proxy head 组成。MERL 在不同训练阶段依据模拟器可靠性调节想象数据比例与 rollout 长度；在 rollout 内，以 chunk 级信任度控制回放样本选择和优化权重。对于无法取得精确、真实环境后续轨迹的递归想象，方法使用残差预测器估计信任度，不查询未来真值。摘要未给出信任度定义、残差预测器监督信号、具体优化目标及在线更新协议，这些机制细节尚未验证。 作者报告，在施加扰动的 LIBERO-PRO 任务上，MERL 的平均成功率为 79.7%，相较匹配的无模型对照，高阈值学习速度提升 10.9%，并在三个训练随机种子下优于同协议外部基线。高阈值的定义、速度计算方式及统计不确定性尚未验证。作者另报告，在每项任务使用 50 条示范的固定数据适应设置下，两个实体机器人任务的平均成功率为 80.0%；这一结果与 LIBERO-PRO 的评估背景不同，不宜直接比较。 平台推测（待验证）：其可迁移机制是根据生成轨迹的可靠性动态控制合成数据用量，而非 VLA 本身已具备 BCI 效果。假设 EEG 闭环任务具有可建模的状态转移与可观测奖励，可考虑复用信任加权和轨迹长度控制；world model、奖励代理及残差监督需针对神经信号与交互反馈改造。低信噪比、跨被试差异、通道变化及小数据可能使预测残差无法反映真实策略收益。一个可证伪的小实验是在固定真实交互预算下，对比无合成轨迹、固定比例合成轨迹与信任校准合成轨迹，检查独立真实环境中的任务表现以及信任度与预测误差的关系。已有 EEG 相关工作尚未检索确认，原论文实验协议、消融及统计信息尚未验证。