通过未来状态采样塑造动力学模型以改进基于模型的强化学习

该研究针对基于模型的强化学习中“动力学模型预测误差低，不一定带来有效规划或策略改进”的问题，提出从历史轨迹片段构造额外转移样本，以未来可达状态作为增强监督目标来塑造动力学模型。基于摘要分析，未取得论文全文。 核心机制不是单纯提高一步转移预测的保真度，而是调整模型训练时的目标分布，使模型能够为未来可达状态分配概率，同时不引入额外输入或模型变量。其动机来自两类已有发现：有目的地塑造预测目标，即使预测转移分布偏离真实环境动力学，也可能改善策略学习；较长时间跨度的结果信息可能比纯一步预测更有利于规划。本文引入两种生成增强监督目标的机制，但摘要未提供具体采样规则、未来时间跨度、损失形式或混合比例。 作者报告，在表格型环境中，该方法能够加快策略学习；作者报告的消融结果表明，收益依赖有结构的未来状态选择，以及训练中适度混合折叠监督（folded supervision）。因此，不能把结论简化为“任意增加未来状态样本都有效”。具体环境、基线、数据划分、学习速度指标、消融设置及统计信息尚未验证。 复现时需要核对历史轨迹如何形成额外转移样本、两种目标生成机制的差异，以及增强监督如何与原始监督混合。摘要未说明代码可用性，也未提供连续状态、高维观测或 EEG 场景下的验证。该方法的主要研究对象是强化学习动力学模型，而非神经信号解码；现有材料不足以建立具体的 EEG/BCI 迁移路径，不据此提出解码效果或实验收益。已有 EEG 相关工作尚未检索确认。