分布式强化学习的表征优势

基于摘要分析。本文研究分布式强化学习（distributional reinforcement learning，dRL）相较于经典强化学习（cRL）的表征与学习优势来源：前者学习回报的完整分布，而不只关注其均值。作者在两层线性网络这一最小模型中建立精确学习理论，分析基于 expectile 的 dRL 目标如何塑造学习过程中的状态表征，并在线性与非线性网络仿真中验证理论结果。 核心机制是奖励分布统计量对学习动力学的影响。作者报告，与 cRL 不同，dRL 的学习受到奖励分布高阶矩驱动，这些信息由输入—输出协方差矩阵捕获。在所分析模型与目标条件下，dRL 网络的学习速度至少不慢于 cRL，均值以外的矩差异还可进一步加速学习；不同矩按奖励统计量决定的顺序被依次学得，奖励统计量也决定隐藏表征的几何结构。这些理论结论不应直接推广为所有 dRL 算法和任务的速度保证。 作者报告，所形成的表征支持更快的迁移学习，而使用 cRL 目标预训练可能阻碍迁移。摘要未给出仿真任务、非线性网络配置、对照细节或定量指标，理论成立的完整假设、实验协议、消融及统计信息尚未验证。 论文主要贡献是解释 dRL 的计算优势，并提出生物奖励学习回路如何获取和表征分布信息的可检验预测；摘要并未提供 EEG/BCI 解码实验。现有材料不足以建立具体的 EEG 方法迁移路径，不据此推断 BCI 性能收益；已有 EEG 相关工作尚未检索确认。复现前需查阅全文，核对 expectile 目标的具体定义、奖励统计量构造、学习动力学假设及迁移任务设置。