跳到正文
OpenReview · Representation learning·· 2026-08-24精选AI 评分73

更新中的目光?学习多模态推理中奖励的落点

Eyes in the Update? Learning Where Rewards Land in Multimodal Reasoning

AI 导读

基于摘要分析。该研究关注图像与视频推理强化学习中的信用分配问题:奖励作用于完整生成轨迹,但视觉证据仅在响应的部分位置被使用。作者提出 Gaze-RL,利用模型自身的多模态计算,将完整响应级优势重新分配至不同生成位置,而非引入额外标注器或过程标签。 核心机制是构建潜在的奖励落点场,依据内部跨模态几何关系与局部预测不确定性,为同时具有视觉锚定性和决策重要性的位置赋予更大更新权重。该权重保持均值为一,因此按摘要描述,每条 rollout 的总信用保持不变,改变的只是位置间的分配。作者称该方法不需要过程监督、辅助感知模块或架构修改。与摘要提及的 grounding 信号或外部 token 级加权路径相比,其主要区别是从模型内部表征推导信用分配;落点场的具体计算、优势与权重的结合方式尚未验证。 作者报告,在混合图像—视频 RL 数据上训练后,Gaze-RL 改善了 Qwen2.5-VL 和 InternVL3.5 在多项图像及视频基准上的表现,并表现出更强的证据敏感性,以及更短、更集中的推理动态。摘要未提供具体数据集名称、划分、对照方法、指标或数值,实验协议、消融及统计信息尚未验证,因此尚不能判断收益幅度,也不能确认推理缩短与答案正确性之间的关系。 研究对象是视觉语言模型的多模态推理后训练,并非 EEG 解码或 BCI。其方法依赖可访问的内部跨模态表征、局部预测不确定性及轨迹级奖励;目前材料不足以建立针对 EEG 的具体机制对应,不据此推断 BCI 有效性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其如何利用模型内部跨模态表征与预测不确定性重新分配轨迹级优势,以及在保持每条 rollout 总信用不变时能否改善视觉证据利用;具体收益与机制解释尚需全文实验验证。

来源:OpenReview · Representation learning · openreview.net