用于持续强化学习的分解式对比 Critic

基于摘要分析。本文研究仅以目标指定任务、没有逐步奖励塑形信号的稀疏奖励持续强化学习，主要对象是机器人操控任务序列，而非 EEG 或 BCI。作者提出 Decomposed Contrastive Critics，将 critic 拆分为跨任务持续学习的共享组件，以及在每个新任务开始时重新初始化的专用组件，以结合跨任务知识积累与新任务适应。 方法以对比式目标条件强化学习为基础。作者报告，在包含十个任务的 Continual World V2 Sawyer 操控基准上，朴素对比式方案已显著优于目标条件 SAC 基线，但在序列中两个最困难任务上表现仍不理想。加入 critic 分解后，作者报告相对于朴素对比式方案，handle-press-side 和 window-close 的表现分别提升 67% 和 78%；摘要未说明这些提升对应的具体指标、计算方式及基线变体，不能将其解释为成功率增加相同百分点。其余较容易任务的表现与朴素方案相近。 作者还通过 feature rank、neural-rank collapse、熵和权重范数研究学习动态；摘要未给出这些分析的具体结果，尚不能据此认定分解机制缓解了何种表征退化。对比目标的损失形式、组件结构与组合方式、任务切换条件、经验回放设置、实验协议、消融及统计信息尚未验证。复现时需先核对奖励定义、任务顺序、交互预算和重复运行设置，再评估共享与重置各自的贡献。材料未建立该方法与 EEG/BCI 的具体机制对应关系，因此不将机器人操控结果外推为 BCI 有效性证据。