视觉—语言表征学习中捷径的揭示与缓解

基于摘要分析。本文研究视觉—语言模型（VLMs）在一张图像对应多条描述时，是否能通过对比学习保留图像与描述之间的全部任务相关信息，还是主要依赖足以降低损失的简单捷径。作者提出向图像—文本数据注入合成捷径的训练与评估框架，并考察两种缓解捷径学习的方法。 研究场景中，每条描述既包含多条描述共有的信息，也包含该描述独有的场景信息。作者借助合成捷径检验模型学到的是充分的任务表征，还是捷径特征。作者报告，在该框架下，无论从头训练还是微调，使用含合成捷径数据的对比式 VLMs 都主要学习表征捷径的特征；这支持了其在所考察设置下，对比损失不足以保证获得包含全部任务相关共享信息的表征这一结论，不宜据此推广到所有对比学习设置。 作者比较了 latent target decoding 与 implicit feature modification。作者报告，两者均改善了该框架内评估任务的表现，但仅部分缓解捷径学习。摘要未给出具体实现、数据集、评估指标、效果数值或训练规模；实验协议、消融及统计信息尚未验证，复现仍需取得正文。 平台推测（待验证）：若 EEG—文本或 EEG—刺激表征学习存在多描述监督，且被试、会话等非目标线索与目标关联，该合成捷径框架可能用于检验模型是否依赖这些线索。可复用的是受控注入与评估思路，需改造信号侧扰动及任务信息保留标准；低信噪比、小样本和通道差异可能使注入扰动直接损害有效信号，混淆捷径依赖与一般性能下降。一个可证伪的小实验是固定数据划分与模型，对比训练期捷径关联在测试期保持和打破时的表现，并设置不含捷径的对照。上述两种缓解方法能否迁移尚不能判断，已有相关 EEG 工作尚未检索确认。