跳到正文
OpenReview · State space models· Zhihe YANG; Yunjian Xu·· 2024-01-16精选AI 评分75

DMBP:面向状态观测扰动鲁棒离线强化学习的扩散模型预测器

DMBP: Diffusion model-based predictor for robust offline reinforcement learning against state observation perturbations

AI 导读

基于摘要分析。该研究面向基于状态的离线强化学习,针对传感器误差或对抗攻击造成的状态观测扰动,提出 Diffusion Model-Based Predictor(DMBP),利用条件扩散模型恢复实际状态,以增强既有离线 RL 算法的鲁棒性;其主要研究对象并非 EEG 或 BCI。 机制上,方法将状态恢复置于离线 RL 框架中。作者指出,常规扩散模型训练用于基于模型的状态估计时可能产生误差累积,因此提出非马尔可夫训练目标,最小化 RL 轨迹中去噪状态的熵之和。摘要未给出条件输入、熵的计算方式、目标函数细节及推理流程,不能据此确定模型结构或计算开销。该方法依赖离线轨迹中的状态信息,而非通过在线环境交互开展对抗训练。 作者报告,在标准基准问题上,DMBP 能增强既有离线 RL 算法对不同强度随机噪声及状态观测对抗攻击的鲁棒性,并能处理测试时随机组合多个未观测维度的不完整状态观测。摘要未列出基准名称、数据划分、对照算法、扰动幅度或定量指标,实验协议、消融及统计信息尚未验证。作者提供了实现链接,但代码内容、运行依赖与复现结果尚未核验。 平台推测(待验证):若 BCI 闭环控制已采用离线 RL,并具有可定义的状态表征及离线轨迹,条件扩散状态恢复可能对应观测噪声或部分输入缺失问题;这不等于已证实能改善原始 EEG 解码。可复用的是状态恢复思路,需改造的是 EEG 状态编码、条件信息与扰动模型。低信噪比、跨被试差异、通道缺失和小数据可能使生成式恢复偏离真实任务状态。一个可检验的小实验是在固定离线轨迹划分与控制策略下,对测试状态加入预设噪声或维度缺失,对比不恢复、简单插补与 DMBP 的控制回报及状态恢复误差。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其条件扩散状态恢复与非马尔可夫训练目标能否抑制轨迹估计误差累积,但摘要中的鲁棒性结论尚需结合扰动协议、对照及消融验证。

来源:OpenReview · State space models · openreview.net