通过 Maclaurin 展开稳定 Extreme Q-learning

基于摘要分析。本文研究 Extreme Q-learning（XQL）中损失函数指数项导致的训练不稳定，以及误差分布可能偏离 Gumbel 假设的问题，提出 Maclaurin Expanded Extreme Q-learning，通过对原损失函数进行 Maclaurin 展开提高大误差条件下的稳定性。 核心机制：XQL 使用假设误差服从 Gumbel 分布的 Gumbel Regression，无需采样分布外动作即可学习价值函数。新方法以展开后的损失替代原有形式；按作者描述，展开阶数还允许在正态分布与 Gumbel 分布之间调整误差分布假设。因此，其方法价值在于同时处理指数项的数值稳定性与误差分布假设的灵活性，而非引入新的动作采样机制。具体损失表达式、展开阶数及其选择策略尚未验证。 结果与证据边界：作者报告，在 DM Control 的在线强化学习任务中，该方法显著稳定了原本不稳定的 XQL 训练；在 D4RL 的若干离线强化学习任务中，也改善了 XQL 的表现。摘要未提供具体任务、数据版本、评估指标、数值及随机种子信息，不能据此判断收益幅度或跨任务一致性；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG/BCI 闭环决策被建模为强化学习问题，且价值回归确实出现大误差或训练不稳定，该损失近似机制可能具有可复用性。其依赖状态、动作、奖励和转移数据，并非直接针对 EEG 表征学习；需要改造信号到状态的映射及奖励定义。低信噪比、跨被试差异和小规模交互数据可能使价值误差更复杂，损失稳定不等于策略有效。一个可检验的小实验是在固定 EEG 状态表示、相同转移数据与训练预算下，对比 XQL 和不同展开阶数，检查训练发散情况与策略回报。已有 EEG 相关工作尚未检索确认。