通过收敛到更平坦的极小值改进基于模型的强化学习

基于摘要分析。本文研究基于模型的强化学习（MBRL）中，学习到的动力学模型误差沿想象轨迹累积、进而影响控制性能的问题，提出以 Sharpness-Aware Minimization（SAM）引导世界模型训练收敛到更平坦的损失极小值，而不改变规划器和策略组件。 机制与理论方面，SAM 被作为可直接接入的训练目标，用于改变世界模型的优化过程，而非调整模型架构。作者报告推导了 PAC-Bayesian 界，将一阶尖锐度与价值估计差距、模型最优策略和真实最优策略之间的性能差距联系起来，表明更平坦的极小值可收紧这些界。界的具体假设、适用条件及尖锐度测量方式尚未验证。 实验方面，作者报告，在 HumanoidBench、Atari-100k 及高自由度 DeepMind Control 任务中，加入 SAM 后测得的尖锐度和价值预测误差降低，平均回报提高，且高维状态—动作空间中的收益尤其明显。作者还报告该效果可跨算法和输入模态出现，包括基于 transformer 的世界模型。摘要未提供具体回报数值、算法配置、训练预算或统计不确定性，实验协议、消融及统计信息尚未验证，不能据此判断额外优化开销与收益的权衡。 平台推测（待验证）：若 EEG/BCI 闭环控制使用可学习的动力学模型开展想象轨迹规划，SAM 可能作为世界模型训练模块的可复用改动，但这一假设不适用于所有 EEG 解码任务。迁移时需适配神经信号观测与控制动作接口；低信噪比、跨被试差异及小数据可能使损失平坦性不能转化为更准确的多步预测。可在固定数据划分、规划器和策略组件，并控制训练预算的条件下，对比原始训练与加入 SAM 的世界模型，联合检验多步预测误差、价值估计误差和闭环回报。已有 EEG 相关工作尚未检索确认，原领域结果不构成 BCI 有效性证据。