如何离散化 Q-learning 中的连续状态—动作空间：一种符号控制方法

基于摘要分析。本文研究连续状态—动作空间中 Q-learning 的离散化问题，提出具有行为关系保证的符号模型及相应 Q-learning 方法，旨在将抽象模型上合成的控制器应用于原系统，并控制离散化带来的 Q 值损失。 核心机制是通过符号抽象与受控系统之间的行为关系，例如从抽象到原系统的交替模拟关系，连接离散模型上的策略与连续系统控制。不同于仅将空间划分为有限单元，本文强调抽象与原系统之间的行为对应。所提算法生成两张编码最优策略的 Q-table；作者报告，其理论分析表明，这两张表分别构成原连续空间系统 Q 值的上界和下界。 作者还分析了空间抽象参数与 Q 值损失之间的关系，并报告算法可在任意给定精度内达到最优性，从而调节精度与计算复杂度的权衡。上述结论适用的系统条件、奖励与动态假设、收敛条件及界的具体形式，摘要均未展开，尚需全文验证。作者使用两个案例说明工程相关性，但案例对象、评价指标、对照方法及具体结果尚未验证。 平台推测（待验证）：若将该方法用于 EEG 驱动的闭环控制，可检验的假设是，具有上下界保证的抽象可能帮助量化连续控制变量离散化造成的策略损失；这并非已证实的 BCI 效果。迁移前需明确控制状态、动作及可验证的系统动态，并改造符号抽象与行为关系构建环节。EEG 低信噪比、部分可观测性及跨被试或跨会话漂移可能使原有保证不再适用。小规模检验可先在具有已知动态和模拟 EEG 观测噪声的闭环环境中，对比符号抽象与普通网格离散化，在相同计算预算下检查 Q 值界的有效性及控制回报。已有 EEG 相关工作尚未检索确认。