通过基于梯度的样本分组发现实现预测式 Bandit 课程强化学习

基于摘要分析。该研究针对强化学习课程中预定义样本分组可能混合不同优化效应、历史代理信号难以预测效用变化的问题，提出 Predictive Gradient-based Bandit（PGB）Curriculum，以样本梯度分组和未来效用预测驱动训练数据分配；原研究主要面向推理任务的强化学习训练，并非 EEG 或 BCI 实验。 机制上，PGB 先对投影后的样本级梯度进行聚类，构建面向优化效应的学习单元，再使用轻量时间预测器预测各单元的未来效用，并将预测转换为 Boltzmann 采样分布，以自适应分配数据。其核心区别是同时改变课程单元的构造依据与调度依据，而非仅按预设难度分组或汇总近期单一代理信号。摘要未说明梯度投影方式、效用定义、预测器训练目标及分组更新频率。 作者报告，在多个模型规模与推理基准上，PGB 优于标准 GRPO、基于难度的课程和基于历史的调度策略，改善了数据利用与训练效率。具体模型、基准、划分、指标、收益幅度及计算预算尚未提供，实验协议、消融及统计信息尚未验证；复现时需重点核对梯度计算和预测器引入的开销是否计入效率比较。 平台推测（待验证）：若 EEG 解码训练可获得样本级梯度及可预测的训练效用，该机制可能用于处理不同样本对优化贡献不一致的问题，但原文的强化学习效用定义不能直接视为 EEG 监督学习目标。可复用梯度分组与预测采样框架，需改造效用指标和调度更新规则；低信噪比、被试或通道差异可能使梯度聚类追随伪迹或域差异，小数据也可能使效用预测不稳定。一个可检验的小实验是在固定跨被试划分与相同计算预算下，对比均匀采样、历史效用调度和预测效用调度，检验预测模块是否带来额外收益。已有 EEG 相关工作尚未检索确认。