跳到正文
OpenReview · Representation learning·· 2026-09-18精选AI 评分75

请勿扰动:可塑性干预何时会损害离线到在线强化学习

Do Not Disturb: When Plasticity Interventions Degrade Offline-to-Online Reinforcement Learning

AI 导读

基于摘要分析。该研究考察离线到在线(O2O)连续控制强化学习中,恢复神经网络可塑性的周期性参数干预是否会破坏已学策略,并提出 CAPACITYGATE,以表征容量诊断决定是否实施干预,而非无条件定期扰动。 原问题是:离线预训练后的智能体已具有结构化的策略与价值表示,适用于从头在线学习的可塑性维护操作未必仍然安全。CAPACITYGATE 通过均匀回放蓄水池采样监测特征有效秩与神经元休眠情况,并结合干预后的冷却控制,贯彻作者提出的“Do Not Disturb”原则:只有表征容量出现明确受损迹象时才干预。摘要未提供诊断阈值、采样规模或完整执行规则。 作者报告,在标准 D4RL 连续控制运动基准上,无条件周期性 Shrink-and-Perturb 使汇总四分位间均值(IQM)归一化回报从 38.78 降至 12.30,下降 68.3%;配对 Wilcoxon 符号秩检验为 W = 18.0、p = 1.44 × 10−11,平均配对差为 +26.03 ± 19.09,但配对单位及“±”的统计含义尚未验证。在稳定及中等分布偏移的迁移条件下,作者报告 CAPACITYGATE 判定容量仍完好(ρ ≈ 1.0、d < 0.08),因此不实施干预,保留基线的 38.78 IQM;这支持避免有害干预,而非证明其优于不干预基线。 在执行器失能的非平稳物理扰动下,作者报告具有零函数变化特性的神经元回收操作 ReDo 在 Walker2d 上取得 8.03 归一化回报,而无约束权重扰动为 −0.53,提示干预算子的稳定性也需单独评估。具体任务集合、随机种子、在线交互预算、对照配置、消融及统计信息尚未验证。 研究主要对象是连续控制 RL,并非 EEG 或 BCI。摘要未提供神经信号适配或闭环 BCI 验证,不能据此认定诊断门控在 BCI 中有效;已有 EEG 相关工作尚未检索确认。

阅读价值

该研究以离线到在线强化学习中的干预失效为切入点,值得核对可塑性诊断门控能否在保留预训练策略的同时识别真正需要干预的情形,但其收益范围与统计协议仍需全文验证。

来源:OpenReview · Representation learning · openreview.net