Endpoint Replay：压缩深度强化学习中的近期经验缓冲区

基于摘要分析。本文研究深度强化学习中经验回放缓冲区的存储冗余问题，提出 Endpoint Replay：从相互连接的 n-step 序列链中提取端点，构造代表性转移，并将其保存在较小的近期经验缓冲区中。其目标是在减少存储的同时，保留较大缓冲区的有效记忆跨度，并支持经验串联与价值传播。 机制上，该方法不是简单缩小均匀采样缓冲区，而是改变所保存经验的表示与组织方式。它依赖具有时序连接关系的强化学习转移数据；端点如何连接、回报如何聚合、如何处理终止状态，以及训练时的采样和更新规则，摘要尚未说明。作者报告，该设计能够避免朴素压缩策略中的系统性偏差，但具体偏差定义、对照方法及验证条件尚未验证。 作者报告，在 Pinball 环境和 Atari 2600 benchmark 的评估中，该方法以约低一个数量级的存储需求，维持与传统大型缓冲区相当的性能和有效记忆跨度。摘要提及常见缓冲区容量为一百万，但不能据此认定全部实验均以该容量作为基线。具体算法、游戏范围、缓冲区配置、性能指标、随机种子、消融及统计信息尚未验证。 平台推测（待验证）：这一机制可能适用于具有连续交互轨迹、状态—动作—奖励记录的闭环 BCI 强化学习，而非直接适用于一般 EEG 分类。可复用的是经验压缩与回放组织方式，需改造的是状态表示、奖励定义和跨会话边界处理。低信噪比、奖励延迟及被试状态漂移可能使端点无法充分代表中间过程。一个可证伪的小实验是在固定交互数据与训练更新预算下，对比 Endpoint Replay、小型均匀缓冲区和大型均匀缓冲区，分别核对存储开销、任务回报与跨会话稳定性；原领域结果不构成 BCI 有效性证据，已有 EEG 相关工作尚未检索确认。