利用子空间泛化加速基于模型的强化学习

基于摘要分析。本文研究离散状态空间中强化学习早期经验利用不足、学习速度较慢的问题，提出 model-based learning with subspaces（摘要中名称写作 MoBLeSs，后文亦写作 MoBLeS），通过子空间中的经验共享减少学习所需经验，而非减少计算时间。 方法从原始状态表示中选择部分特征构造子空间，使多个原始状态的经验映射到同一个子空间状态，从而提高经验复用程度。但这种多对一映射会引入感知混叠（perceptual aliasing，PA）：需要不同决策的原始状态可能被合并，因此子空间给出的策略通常不能保证收敛到最优策略。该方法同时计算原始状态空间与子空间中估计 Q 值的置信区间，并据此决策，旨在利用泛化收益的同时限制混叠带来的损害。摘要未提供置信区间的构造方式及具体决策规则。 作者报告对最优策略收敛性进行了理论研究，并通过若干实验观察到早期学习速度提升；摘要未列出任务、对照基线、经验节省幅度或理论成立条件，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 驱动的交互任务可表示为离散状态决策问题，该机制可能用于缓解校准或在线交互经验稀缺，但它并非 EEG 解码方法。可复用的是特征子集构造与基于置信区间的经验共享决策；需改造的是 EEG 特征离散化、状态转移建模及非平稳条件下的不确定性估计。低信噪比、通道变化和跨被试差异可能加剧状态混叠，小样本也可能使置信区间失准。一个可检验的小实验是在固定被试内划分和相同交互预算下，对比完整状态模型与子空间机制的累计回报及达到预设回报所需经验，并单独记录计算耗时。已有 EEG 相关工作尚未检索确认。