动态动作空间强化学习中的动作挑选

基于摘要分析。本文研究动作空间随时间变化的非平稳 Markov decision processes（MDPs）：当新动作出现时，如何从中挑选有价值的动作以提高强化学习效率。作者提出 Action Pick-up（AP）算法，利用先前最优策略提供的知识与经验，筛选最可能改善性能的新增动作。 机制上，作者首先进行理论分析，认为先前最优策略对动作挑选具有重要作用；随后据此设计两种方法：基于频率的全局方法，以及基于状态聚类的局部方法。摘要未说明动作如何表示、频率如何统计、状态如何聚类，以及新动作与先前策略之间如何建立可计算的关联，因此尚不能据此重建具体算法或判断其适用条件。 作者报告，在两个动作空间随时间变化的模拟环境中，AP 相较基线具有学习效率优势。摘要未提供环境名称、动作变化协议、基线细节、效率指标或具体数值，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 BCI 交互系统存在新增可选指令或控制动作，利用既有策略筛选新增动作可能具有对应关系；这一假设针对决策层，而非 EEG 解码方法。复用前需明确动作语义、状态表示和策略经验的可迁移条件，并改造状态聚类以适应低信噪比及跨被试差异。潜在失败原因包括旧策略偏好排斥有价值的新动作，以及噪声状态导致局部分组不稳定。可检验的小实验是在固定解码器的离线 BCI 交互模拟中，按相同时间表加入新动作，对照 AP 与不筛选方案的学习曲线和新增动作探索成本；这不构成已验证的 BCI 效果，相关 EEG 工作尚未检索确认。