用于非平稳强化学习的小波预测表征

基于摘要分析。本文研究非平稳强化学习（NSRL）中，智能体如何适应连续变化的 Markov Decision Processes（MDPs），提出利用小波域预测任务表征的 WISDOM，旨在改善现有方法对规则演化模式的依赖，提高对随机、复杂任务变化的适应能力。 核心机制是将任务表征序列变换到小波域，通过小波系数同时表达非平稳变化的全局趋势与细粒度波动。在时间序列预测常用的自回归建模之外，作者进一步设计 wavelet temporal difference（TD）更新算子，用于跟踪和预测 MDP 的演化。作者报告证明了该算子的收敛性，并展示了使用小波任务表征的策略改进；证明所依赖的假设、策略改进的具体形式及适用范围尚未验证。 作者报告，在多个基准实验中，WISDOM 的样本效率和渐近性能优于现有基线，尤其针对非平稳、随机演化的任务环境。摘要未提供基准名称、评估指标、数值、基线配置或显著性检验细节，因而不能判断优势幅度及其跨任务稳定性。任务表征如何获得、小波类型与尺度设置、训练和推理流程、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移假设是，若自适应 BCI 可被合理建模为连续演化的 MDP，且能够从交互数据中估计稳定的任务表征，小波域预测或可帮助区分缓慢漂移与短时变化。可复用部分是多尺度表征与演化预测机制；需改造的是 EEG 状态编码、奖励定义及在线更新约束。低信噪比、通道变化和有限反馈可能使任务表征中的噪声被误判为环境变化，跨被试差异也未必满足连续演化假设。小规模检验可在固定 EEG 编码器和控制策略下，对比原始任务表征预测与小波域预测，在预设缓慢漂移及突变条件下测量适应速度与任务回报；这不构成已验证的 BCI 效果，相关 EEG 工作尚未检索确认。