负样本即假设:关系表征学习中的目标兼容性审计
Negatives Are Hypotheses: Auditing Objective Compatibility in Relational Representation Learning
基于摘要分析。本文研究关系表征学习中一个隐含前提:采样得到的负样本是否真的在关系层面不兼容。作者提出负样本有效性审计,将这一前提转化为训练前诊断与结果报告协议,而非提供独立的目标函数选择保证。 方法使用冻结的关系特征近似评估负样本有效性所对应的优化压力;证据置信度足够时,推荐或混合不同的目标压力族,证据模糊时则弃权。其核心区分是:表面上的负样本可能是有益的跨关系族对照,也可能是实际兼容的假负样本,因而不宜直接把批内负样本当作可靠标签。 作者报告,在词汇关系基准、Stanford Natural Language Inference(SNLI)压力测试、受控假负样本比例扫描,以及 FewRel、Revised DocRED 关系抽取诊断中,包括留出的 Re-DocRED 部署式检查,固定目标在不同有效性极端下呈现相反失效模式:排斥作用能分离有效的关系族,却可能割裂共享关系的表征结构。作者报告,考虑假负样本的对比学习变体可缓解、但不能消除这种对关系情境的依赖。摘要未提供具体指标、效应大小及完整划分;审计置信度、弃权规则、目标混合方式、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 对比学习的负样本构造同样依赖潜在语义不兼容假设,可考察这种审计思想,但原研究对象是语言关系数据,并未验证 EEG 或 BCI 效果。可复用的是负样本有效性检查与弃权框架;需改造关系特征及兼容性定义,避免将跨被试、跨会话差异误认作任务语义差异。低信噪比与小数据也可能使冻结特征不足以支持可靠审计。一个可证伪的小实验是在固定 EEG 任务、划分及编码器条件下,受控改变同类别样本被误作负样本的比例,检验审计输出能否预测固定目标性能变化。已有 EEG 相关工作尚未检索确认。
值得关注其将负样本有效性显式化为训练前诊断与报告协议的思路,尤其是允许证据模糊时弃权,而非将诊断结果当作目标函数选择的保证;其诊断可靠性仍需结合全文实验核对。
来源:OpenReview · Representation learning · openreview.net