用于 Deep Q-Networks 的状态感知变分 Thompson sampling

基于摘要分析。本文研究强化学习中高维状态—动作空间下的探索与利用平衡，为 Deep Q-Networks（DQNs）推导变分 Thompson sampling 近似，并提出 State Aware Noisy Exploration（SANE），使网络参数的扰动幅度随智能体状态变化。 Thompson sampling 需要维护动作价值函数的后验分布，而该分布在高维问题中通常难以处理。论文以学习得到的变分噪声分布扰动深度网络参数，并将 NoisyNets 解释为所推导变分 Thompson sampling 方法的一种近似。SANE 则引入辅助扰动模块，其输出依赖当前状态，并通过梯度下降端到端学习，实现非均匀的参数扰动。摘要未提供具体变分目标、噪声分布形式及模块结构，尚不能判断其后验近似与探索策略的实现细节。 作者假设：在某些探索可能导致严重失败的高风险状态中，状态感知噪声探索尤其有用。作者报告，通过为 DQNs 增加辅助扰动模块，在 off-policy 设置中展示了该方法的有效性；摘要未给出任务、对照结果或定量指标，因此不能据此认定其已验证安全性或普遍优于 NoisyNets。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：该机制可能对应 EEG 驱动闭环控制中“不同状态需要不同探索强度”的问题，而不是直接改善 EEG 解码。迁移假设依赖可用的状态表示、动作与奖励反馈，以及足够的交互数据；可复用的是状态条件扰动机制，需改造的是 EEG 状态编码、奖励设计和安全约束。低信噪比、跨被试差异、通道变化及小数据可能使状态估计与扰动学习不稳定，状态感知本身也不保证安全。一个可检验的小实验是在离线 EEG 驱动的模拟控制环境中，固定状态编码器、交互预算和奖励设置，对比 DQN、NoisyNets 与 SANE，分别考察回报和预定义高风险状态中的失败率；这只能检验模拟条件下的迁移假设。已有 EEG 相关工作尚未检索确认。