PASRL：利用过去动作与状态表征学习稳定强化学习

基于摘要分析。本文研究深度强化学习（DRL）连续控制中的动作不平滑与振荡问题，提出过去动作与状态表征学习（PASRL），以扩展强化学习算法并支持端到端控制训练，减少对奖励塑形、低通滤波及传统控制器等启发式组件的依赖。 作者将问题归因于所讨论的 actor-critic 方法依赖单个时间步的观测向量，未充分表示时序信息；PASRL 的核心思路是将过去动作与状态纳入表征学习。摘要未说明历史窗口、表征网络、损失函数，以及与 actor-critic 更新的具体耦合方式，不能据此判断其采用循环网络、注意力或特定辅助目标。 作者报告，在 MuJoCo benchmark 上，PASRL 能产生更平滑的动作，同时保留探索能力，并减少大量超参数调优的需求。摘要未提供具体任务、对照算法、动作平滑性指标、任务回报、随机种子或数值结果，因此这些结论的适用范围及平滑性与控制性能之间的权衡尚待核对；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 BCI 闭环控制中的解码输出被用作强化学习控制器的观测，过去动作与状态的表征可能有助于缓解控制指令抖动。可考虑复用历史信息表征思路，但需适配 EEG 观测的低信噪比、跨被试差异、通道变化和反馈延迟；过度平滑也可能削弱快速意图切换。一个可检验的小实验是在固定解码器与数据划分下，对照基础控制器、低通滤波控制器及加入 PASRL 的控制器，同时记录任务表现、动作变化幅度与响应延迟。该假设不代表已证实的 EEG/BCI 效果，已有 EEG 相关工作尚未检索确认。