RGB-OPD：面向多模态推理在线策略蒸馏的表征引导预算分配

基于摘要分析。本文研究多模态推理中的在线策略蒸馏（On-Policy Distillation，OPD）：教师在学生生成的轨迹上提供监督，但仅依据输出概率可能不足以突出对图像信息敏感的响应位置。作者提出 RGB-OPD，利用教师表征敏感度重新分配固定监督预算，同时将蒸馏保持在输出空间。 核心动机是表征与输出之间的不匹配：作者观察到，图像引起的变化在教师表征中的分布，比在采样 token 输出概率中的分布更广。RGB-OPD 据此对响应位置排序，并向表征最敏感的位置分配更多监督预算；它结合教师与学生的分布构造紧凑支持集，在该支持集上施加粗粒度分布监督，另以有界终止校正处理被截断的推理轨迹。这不同于直接要求学生匹配教师隐藏表征，表征在此主要承担监督分配依据的作用。 作者报告，在五个域外多模态推理基准上，相较 Standard OPD，Qwen3-VL 8B→2B 设置提升 0.80 个百分点，32B→8B 设置提升 0.91 个百分点；两个规模在全部五个基准上的点估计均更高。摘要未说明这些提升对应的具体指标及汇总方式，不能据此判断统计显著性或不同规模间的可比性。 表征敏感度的计算方式、紧凑支持集构造、预算约束与终止校正的具体形式，以及基准名称、实验协议、消融、统计信息和计算开销尚未验证。原研究对象是视觉语言模型的多模态推理蒸馏，摘要未提供 EEG 或 BCI 实验证据，不应将上述增益视为神经信号任务中的有效性证明。