揭示并减少视觉—语言表征学习中的捷径

基于摘要分析。本文研究一张图像对应多条描述时，对比训练能否同时保留描述间共享的信息与各条描述独有的场景信息，并提出 synthetic shortcuts for vision-language 训练与评估框架，通过向图像—文本数据注入合成捷径来检验这一问题。 核心机制是构造可控的捷径信号，观察模型是否优先学习足以降低对比损失、却不能覆盖全部任务相关信息的特征。作者报告，在其合成捷径框架下，无论从头训练还是使用含捷径的数据微调，对比式 VLMs 都主要学习表征捷径的特征。这一结果支持作者关于对比损失不足以保证任务最优表征的判断，但证据范围应限定于所设训练与评估条件，不能直接推广到所有自然图像—文本任务。 作者进一步考察 latent target decoding 与 implicit feature modification。作者报告，两种方法均改善了框架内评估任务的表现，但只能部分减少捷径学习，提示任务性能提升不必然意味着捷径依赖已被消除。摘要未给出两种方法的具体实现、数据集、评估指标或数值；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG—文本配对数据也存在一段信号对应多种描述、且描述包含互补信息的结构，该框架可能用于检验模型是否依赖被试身份或采集条件等非目标线索。可复用的是可控捷径注入与独立评估思路，需改造信号侧注入方式及任务信息的操作性定义；不能直接将上述缓解方法视为已验证的 BCI 算法。低信噪比、小数据与跨被试差异可能使人工捷径压过真实生理信息。一个可证伪的小实验是在固定跨被试划分下比较有无合成捷径训练，并在测试时移除或反转捷径，观察任务指标与捷径依赖是否同步变化。已有 EEG 相关工作尚未检索确认。