SDA:用于对比式句子表征学习的简单离散增强
SDA: Simple Discrete Augmentation for Contrastive Sentence Representation Learning
基于摘要分析。本文研究无监督句子表征学习中的数据增强问题,提出 SDA,以简单的离散文本编辑生成对比学习视图,并利用标准否定构造负样本。主要研究对象是自然语言句子表征,而非 EEG 或 BCI。 作者以 SimCSE 的 dropout 连续增强为参照,重新考察裁剪、删词、同义词替换等离散增强,提出合理增强应平衡“语义一致性”与“表达多样性”。据此设计标点插入、情态动词和双重否定三类增强,在词汇层面施加微小扰动,生成形式不同的句子;另以标准否定生成负样本,意在缓解对比学习中的特征抑制。双重否定增强与标准否定负样本在方法中承担不同角色,不宜混同。 作者报告,在多个数据集的语义文本相似度实验中,所提方法呈现一致优势。摘要未给出数据集名称、划分、具体指标、数值或逐项基线结果,因此无法量化其相对 SimCSE 的改进,也不能确定各增强策略的独立贡献。具体损失、负样本构造规则、实验协议、消融及统计信息尚未验证。作者提供了关键代码链接,但实现完整性及复现条件尚未核对。 平台推测(待验证):“保持任务语义并增加视图差异”的原则可作为 EEG 对比学习增强设计的参考,但本文具体操作依赖语言中的标点、情态和否定结构,并无直接对应的 EEG 变换。现有材料不足以提出具体迁移方案或声称 BCI 收益;相关 EEG 工作尚未检索确认。
值得核对的是离散增强如何兼顾语义一致性与表达多样性,以及否定式负样本能否缓解特征抑制;摘要报告了语义文本相似度上的优势,但具体协议与消融尚未验证。
来源:OpenReview · Representation learning · openreview.net