Spectral Bellman Method：统一强化学习中的表征与探索

基于摘要分析。本文研究价值型强化学习中的表征学习与探索问题，提出 Spectral Bellman Method，试图使状态—动作特征直接适配 Bellman 更新结构，而非主要从模型学习目标出发表征环境。其核心贡献是从 Inherent Bellman Error（IBE，固有 Bellman 误差）条件建立谱关系，据此构造表征学习目标，并将其用于结构化探索。 机制上，作者指出，在零 IBE 条件下，一组价值函数经 Bellman 算子变换后的分布与特征协方差结构存在内在联系。方法据此学习能够捕捉 Bellman 对齐协方差的状态—动作特征。作者称，这一目标只需对现有算法作简单修改，并可自然扩展至多步 Bellman 算子；摘要未给出具体目标公式、价值函数分布的构造方式或算法实现，因此其训练成本与所需数据条件尚未验证。 作者报告，所学表征通过将特征协方差与 Bellman 动态对齐，支持结构化探索，并在困难探索和长时程任务中改善表现。摘要未列出任务名称、对照基线、评估指标或结果数值，实验协议、消融及统计信息尚未验证。阅读全文时，需重点核对零 IBE 理论条件与实际近似学习之间的衔接，以及表征目标和探索机制各自贡献的证据。 原论文的研究对象是通用价值型强化学习，并非 EEG 解码或 BCI。平台推测（待验证）：若 BCI 闭环任务具有可用的状态—动作—奖励轨迹，该机制或可用于学习面向长期反馈的控制表征；可复用的是 Bellman 对齐目标，需改造的是神经信号状态编码与奖励定义。低信噪比、跨被试非平稳性及有限交互数据可能使协方差估计不稳。一个可检验的假设是：在相同离线轨迹和固定评估协议下，仅替换表征目标，观察其是否改善闭环任务回报及探索覆盖；该实验不等同于证明 EEG 解码性能提升。相关 EEG 工作尚未检索确认。