跳到正文
OpenReview · Representation learning· Po-Chen Kuo; Han Hou; Will Dabney; Edgar Y. Walker·· 2025-09-19精选AI 评分74

预测编码增强元强化学习:在部分可观测条件下实现可解释的贝叶斯最优信念表征

Predictive Coding Enhances Meta-RL To Achieve Interpretable Bayes-Optimal Belief Representation Under Partial Observability

AI 导读

基于摘要分析。本文研究部分可观测环境中,元强化学习(meta-RL)如何将历史信息压缩为可解释、接近贝叶斯最优的信念表征,提出在 meta-RL 中加入自监督预测编码模块,以引导表征学习,而不只追求策略表现。 核心问题是:接近贝叶斯最优的策略,并不必然对应紧凑、可解释的贝叶斯最优信念状态。作者借鉴神经科学中的预测编码思想及深度强化学习中的辅助预测目标,通过状态机仿真比较带预测模块与常规 meta-RL。摘要未披露具体预测对象、损失形式、模型结构,以及信念表征可解释性和逼近程度的度量方式。 作者报告,在多种仿真任务中,即使两类方法均达到最优策略,带预测模块的方法仍能学习到更可解释、更接近贝叶斯最优信念状态的表征;在需要主动寻求信息的困难任务中,作者报告仅带预测模块的方法成功学到最优表征与策略,并进一步报告更好的表征带来更好的泛化。上述结论限于摘要所述仿真条件,任务规模、泛化划分、数值结果、消融及统计信息尚未验证。 平台推测(待验证):其潜在 EEG 对应点是利用历史观测推断不可直接观测的状态,而非已验证的 BCI 解码创新。若用于序贯 EEG 决策,可考虑复用辅助预测目标与历史表征机制,但须改造观测编码、预测对象及决策反馈;原方法依赖哪些状态结构、训练规模与监督信息尚不明确。低信噪比、通道差异、跨被试变化和小样本可能使预测模块主要拟合噪声或个体特征。一个可证伪的小实验是在固定被试内划分与相同决策主干下,仅改变是否加入预测目标,分别检验决策表现与预先定义的状态表征指标,判断增益是否同时出现。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将策略最优与信念表征质量分开评估的思路:作者报告预测模块能改善部分可观测任务中的表征与泛化,但具体预测目标、对照协议及向 EEG 场景的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net