梯度空间多样性作为大语言模型后训练的信用分配机制

基于摘要分析。本研究针对大语言模型强化学习后训练中任务表现提升与输出多样性下降之间的矛盾，提出 GraDiC：以训练梯度而非输出、嵌入或隐藏状态衡量多样性，并据此调整响应的更新权重。 核心机制是：在局部一阶近似下，作者指出 GRPO 通过 rollout 梯度的 Gram 矩阵传播组内相对优势，因此经验证解答之间的梯度冗余也会影响信用分配。GraDiC 使用 order-2 Vendi Score 衡量梯度方向的覆盖程度，再对各响应的更新权重求导，得到刻画其对梯度空间多样性边际贡献的闭式影响分数。该更新机制旨在促进代表不足的梯度方向，减轻策略更新集中于主导方向的倾向。与将其他表征空间的多样性作为辅助奖励的方法相比，其主要区别在于直接从参数更新方向分析并调节贡献。 作者报告，在具有挑战性的数学推理基准上，相比标准基线，GraDiC 改善了 k∈[16,128] 时的 pass@k。摘要未给出基准名称、模型规模、具体提升幅度、基线配置或采样协议；该结果不能直接解释为单次生成准确率提高。实验协议、消融及统计信息尚未验证，复现还需核对梯度计算范围、Gram 矩阵构造、更新权重约束及额外计算开销。 原研究对象是大语言模型数学推理后训练，而非 EEG/BCI。其机制依赖分组生成响应、验证反馈及响应级梯度；现有材料不足以建立与 EEG 解码训练的具体对应关系，因此不据此推断 BCI 效果或提出迁移实验。相关 EEG 工作尚未检索确认。