采用调制 Hebbian 网络与 Q 网络组合架构的深度强化学习

基于摘要分析。本文研究作者称为 confounding POMDPs 的一类部分可观测马尔可夫决策过程：混淆观测与稀疏奖励使时间差分（TD）误差难以从观测中准确获得。作者提出 modulated Hebbian plus Q-network architecture（MOHQA），结合调制 Hebbian 网络（MOHN）与 deep Q-network（DQN），以改善动作与延迟奖励之间的信用分配。 机制上，DQN 负责学习低层特征与控制，MOHN 则利用受生物启发、罕见相关的神经活动痕迹，将奖励与过去的状态和动作关联起来，参与高层决策。其主要方法特点是让 Hebbian 关联学习与经典 DQN 流程协作，而非仅依赖 TD 学习处理延迟奖励。具体痕迹定义、调制规则、模块接口及训练更新方式尚未验证。 作者报告，在一组 POMDP 仿真及 Malmo 环境中，MOHQA 改善了 DQN 的结果，并在具有混淆刺激与稀疏奖励的最困难 POMDP 任务上，优于多数对照，包括 A2C、QRDQN + LSTM、REINFORCE 和 AMRL。摘要未提供具体分数、任务划分或统计不确定性，因此不能量化优势，也不能外推为对所有 POMDP 均有效；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若某类 BCI 闭环控制同时存在状态部分可观测与反馈奖励延迟，该关联痕迹机制可能为信用分配提供补充，但这不等于已验证的 EEG 解码改进。可复用的是 MOHN 与价值学习模块协作的思路；观测编码、动作空间及奖励设计需要按 BCI 任务改造。低信噪比 EEG 可能产生误关联，跨被试或通道变化可能破坏状态表征，小数据也可能不足以稳定学习稀疏关联。一个可检验的小实验是在固定 EEG 编码器与相同数据划分下，比较 DQN 与加入 MOHN 的方案，并控制奖励延迟和观测混淆程度，检验收益是否确实来自延迟关联机制。已有 EEG 相关工作尚未检索确认。