深度强化学习中状态新颖性引导的动作持续

基于摘要分析。本文研究深度强化学习（DRL）的样本效率问题，提出由状态新颖性引导的动作持续方法，根据状态空间当前的探索状况动态调节动作重复，以改善探索与利用之间的平衡。 动作持续指在多个时间步重复执行同一动作。摘要将既有方案概括为固定重复策略，或额外学习价值函数或策略来选择重复次数。本文的区别在于依据探索状态调整动作持续，并平滑调度重复概率；作者表示，该方法无需额外训练价值函数或策略，也可与多种基础探索策略结合，引入时间上的持续性。状态新颖性的具体定义、估计方式、重复概率调度公式及计算开销尚未验证。 作者报告，在不同 DMControl 任务上的实验显著改善了样本效率。摘要未提供具体任务、基础算法、对照配置、交互预算、数值结果或统计检验信息，因此尚不能判断收益的幅度及适用范围；实验协议、消融及统计信息尚未验证。 本文主要研究对象是强化学习中的探索与动作持续，而非状态空间序列模型或 EEG 解码。平台推测（待验证）：若用于以离散控制动作驱动环境的 BCI 闭环系统，该机制可能用于调节控制指令的保持时长，但不直接解决 EEG 表征问题。可复用的是动作重复调度思路；需改造的是状态新颖性估计及安全约束。低信噪比、跨被试或跨会话漂移可能使噪声被误判为新颖状态，动作重复也可能延长错误指令。一个可检验的小实验是在固定解码器和交互预算下，于模拟闭环环境比较固定动作持续与新颖性引导持续的任务回报、错误持续时间和样本效率。相关 EEG/BCI 工作尚未检索确认。