通过学习率随机化实现无模型后验采样

基于摘要分析。本文研究回合式 Markov Decision Processes（MDPs）中的遗憾最小化，提出随机化无模型算法 Randomized Q-learning（RandQL），以学习率随机化支持基于后验采样的探索。作者称，据其所知，这是首个计算上可行的无模型后验采样算法；该优先性声明尚未独立核实。 核心机制是通过学习率随机化实现乐观探索，而不使用显式探索奖励加成（bonus）。摘要未给出随机学习率的分布、Q 值更新细节及后验采样的具体实现。作者分别分析了表格型 MDPs 与非表格型度量状态—动作空间：在表格型设置下，作者报告遗憾上界为 Õ(√(H⁵SAT))，其中 H 为规划时域，S 为状态数，A 为动作数，T 为回合数；在度量状态—动作空间设置下，作者报告上界为 Õ(H^(5/2)T^((d_z+1)/(d_z+2)))，其中 d_z 为 zooming dimension。两类界对应不同空间假设，不能直接据此判断实际任务优劣。 作者报告，RandQL 在基础探索环境中优于已有方法，但摘要未提供环境名称、对照算法、评价指标或数值。理论成立条件、实验协议、消融及统计信息尚未验证，复现还需核对初始化、随机化策略与超参数。 平台推测（待验证）：若自适应 BCI 的刺激或反馈选择可表述为具有明确状态、动作和回合反馈的 MDP，学习率随机化可能作为探索策略复用；状态构造、奖励定义及安全约束需另行设计，不能据此推断 EEG 解码性能改善。低信噪比、跨被试差异及小样本交互可能使状态估计和价值更新不稳定。可先在固定状态表征的模拟交互任务中，与匹配交互预算的 Q-learning 探索基线比较累积遗憾和奖励，检验该机制是否仍有收益。已有 EEG 相关工作尚未检索确认。