当语言带来的增益并非源于语义:重新思考语言监督表征学习中的归因
When Language Gains Are Not Semantic: Rethinking Attribution in Language-Supervised Representation Learning
基于摘要分析。本文研究语言辅助监督带来的表征性能提升能否归因于语义信息,主要研究对象是雷达表征学习,而非 EEG/BCI。作者提出受控评估协议,将“辅助训练是否有效”“正确输入—目标对应是否有贡献”及“结构化目标是否提供超出一般实例监督的信息”分开检验。 机制上,引入语言监督会同时改变训练目标、优化动态、目标几何与实例级监督,因此仅与单任务基线比较不足以识别语义贡献。协议在仅雷达训练基线之外,加入破坏输入—描述对应关系的错排描述,以及固定的非结构化随机实例目标。训练阶段可使用语言和相机信息,检索阶段仍仅使用雷达。 作者报告,在 Boreas 上,相对仅雷达训练,正确描述使 Recall@1 提高 3.18 个百分点,95% CI 为 [1.34, 5.02];错排描述和随机实例目标也分别提高 2.75 和 2.17 个百分点。正确描述相对这两种对照的优势仅为 0.43 个百分点(95% CI [−1.66, 2.52])与 1.00 个百分点(95% CI [−0.33, 2.33]),尚不能明确归因于正确对应或结构化目标。这不等于证明语义无效,而是现有比较未能确立其独立贡献。作者报告,更丰富的 camera-VLM 描述、诊断筛选目标及 MulRan 上的反向复现实验呈现相同定性归因结果;直接冻结相机监督也未确立稳定迁移。 作者还提出基于跨次重访稳定性与地点间碰撞的预训练目标审计。作者报告,描述熵由 2.91 增至 10.19 bits 时,跨次重访稳定性由 0.729 降至 0.121,提示描述丰富度可能与任务相关不变性存在权衡。具体数据划分、指标定义、损失、消融及统计信息尚未验证。 平台推测(待验证):该归因框架可能适用于语言辅助 EEG 表征学习,而非直接迁移雷达模型。可复用正确目标、错排目标和固定随机实例目标三类对照,但须根据 EEG 试次、任务与被试结构重新定义对应关系。一个可证伪的小实验是在同一预设 Cross-subject 划分下固定训练预算和 EEG 编码器,比较上述三类目标与仅 EEG 基线;低信噪比、被试差异及小数据可能使对应关系效应难以识别。已有 EEG 相关工作尚未检索确认。
该研究以破坏对应关系和固定随机实例目标作为对照,检验语言监督增益是否确由语义贡献,值得用于审查多模态表征学习的归因证据,但其 EEG/BCI 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net