基于集成的探索中的多样性诅咒

基于摘要分析。本文研究深度强化学习中多个智能体共享训练数据的集成探索策略，指出增加策略多样性可能损害集成成员各自的学习表现，并提出 Cross-Ensemble Representation Learning（CERL），探索通过表征学习缓解这一问题。 作者报告，相较标准单智能体训练，多样化且共享数据的集成会使个体成员的性能显著下降，并将这一现象称为“多样性诅咒”。其机制解释是：每个成员在共享训练数据中自行生成的数据占比较低，而成员难以有效利用与自身策略高度偏离的 off-policy 数据。这里的结论针对集成成员的个体表现，不能直接等同于集成整体性能必然下降，也不能推广为多样性本身普遍有害。 作者报告，增大经验回放缓冲区或减小集成规模等直观调整，或者不能稳定缓解性能损失，或者会削弱集成的优势。作者进一步报告，CERL 在离散与连续控制领域展现了缓解该问题的潜力。摘要未提供 CERL 的具体表征交互机制、损失函数、训练流程、任务名称及量化结果；实验协议、消融及统计信息尚未验证。 本文主要研究对象是强化学习探索，而非 EEG 解码或 BCI。其对共享经验分布与个体策略不匹配的分析具有方法学阅读价值，但材料未建立与具体 BCI 任务的机制对应，因此不能据此声称 CERL 已改善 BCI 性能；相关 EEG 应用工作尚未检索确认。复现需进一步取得全文，核对集成构建方式、共享数据采样规则、单智能体对照的交互与计算预算，以及 CERL 的实现细节。