极简的表征正则化可提升深度强化学习

基于摘要分析。本文研究深度强化学习（DRL）中 Q-network 与目标 Q-network 的内部表征关系，提出 Policy Evaluation with Easy Regularization on Representation（PEER），通过显式表征正则化维持作者提出的可区分性性质，以改善策略学习。 核心机制：作者指出，在典型 DRL 设置下，相邻时间步价值函数的表征相似度存在理论上界；作者报告，示例实验中的智能体可能违反这一性质，并产生次优策略。PEER 据此约束内部表征，作者同时给出收敛速率保证，并称实现仅需一行代码。摘要未提供相似度定义、正则项公式、权重设置、适用算法条件或收敛假设，具体实现与理论边界尚未验证。 实验结果：作者报告，加入 PEER 可改善性能与样本效率，并在所评估的 PyBullet 全部 4 个环境、DM-Control 的 12 项任务中 9 项、Atari 的 26 款游戏中 19 款达到其所称的最先进性能。上述结果属于各自基准的作者报告，不能直接跨基准比较；具体分数、训练预算、对照方法、随机种子、消融及统计信息尚未验证。摘要提供了代码页面，但实现内容与复现条件尚未核查。 与 BCI 的关系：原论文研究对象是通用 DRL，而非 EEG 解码或 BCI。平台推测（待验证）：若某个 BCI 闭环控制任务以状态转移、动作和奖励训练 Q-network，PEER 的表征约束可能作为可复用正则项；状态编码器及采样流程仍需适配 EEG。该假设依赖足量且具有时序关联的交互数据，低信噪比、跨被试或跨会话漂移及小样本可能使表征相似度约束难以稳定估计。可先在固定被试与会话划分、相同交互预算下比较同一 Q-learning 基线加入与不加入 PEER 的回报及样本效率，检验其是否真正有益。已有 EEG 相关应用尚未检索确认。