通过学习率随机化实现无模型后验采样

基于摘要分析。本文研究回合式 Markov Decision Processes（MDPs）中的遗憾最小化，提出无模型随机算法 Randomized Q-learning（RandQL），以学习率随机化实现基于后验采样的探索。作者将其定位为据其所知首个计算上可行的无模型后验采样算法；该优先性声明尚未独立核实。 核心机制是通过随机化学习率实现乐观探索，而不依赖显式探索奖励加成。摘要未提供随机学习率的分布、Q 值更新细节、后验采样的具体实现及理论成立条件，因此不能据此还原算法或判断其计算开销。 作者报告，在表格型 MDP 中，RandQL 的遗憾上界为 Õ(√(H⁵SAT))，其中 H 为规划时域，S 为状态数，A 为动作数，T 为回合数；在度量状态—动作空间中，上界为 Õ(H^(5/2)T^((d_z+1)/(d_z+2)))，其中 d_z 为 zooming dimension。作者还报告其在基准探索环境上优于已有方法，但摘要未列出环境名称、对照算法、指标数值及统计信息，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设某个自适应 BCI 决策任务能被合理表述为具有可观测状态、离散动作和反馈奖励的回合式 MDP，则可考察学习率随机化能否缓解稀疏反馈下的探索问题；这并非 EEG 解码方法本身。可复用部分是随机化的价值更新机制，需改造状态表征、奖励定义与安全探索约束。低信噪比 EEG、跨被试差异、非平稳反馈和小样本可能破坏状态可观测性或稳定性，使原理论保证无法直接适用。一个可检验的小实验是在固定 EEG 状态表征与奖励协议的离线模拟环境中，对比 RandQL、固定学习率 Q-learning 与显式探索加成方法，并核对模拟反馈假设对结果的影响。已有 EEG 相关工作尚未检索确认。