跳到正文
OpenReview · Representation learning· Xinghao Wang; Junliang He; Pengyu Wang; Yunhua Zhou; Tianxiang Sun; Xipeng Qiu·· 2024-01-01精选AI 评分70

DenoSent:用于自监督句子表征学习的去噪目标

DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning

AI 导读

基于摘要分析。DenoSent 研究自监督句子表征学习,针对句间对比学习可能难以充分捕获细粒度语义的问题,引入句内去噪目标:通过离散噪声与连续噪声构造受扰动句子,再训练模型将其恢复为原始形式。其主要贡献是提供不同于句间关系监督的学习信号,并探索两类目标的互补性。 机制上,对比学习通过拉近相似句子、推远不相似句子约束表征空间;DenoSent 则从单个句子内部的扰动与恢复关系中构造自监督任务。摘要未说明两类噪声的具体施加位置、重建对象、损失形式及联合训练方式,这些细节尚未验证。作者报告,该方法在 semantic textual similarity(STS)及多种迁移任务上取得与对比学习方法有竞争力的结果,并可与句间对比目标结合以进一步改善表现。摘要未提供具体数据集、划分、基线及指标数值,实验协议、消融及统计信息尚未验证。材料提供了代码地址,但实现与复现条件尚未核验。 平台推测(待验证):可迁移的假设是,样本内部的去噪恢复信号可能补充 EEG 样本间的对比监督,但原研究对象是文本,不能据此认定其对 BCI 有效。迁移依赖可定义的时序结构、合理扰动及稳定的恢复目标;可借鉴目标组合思路,但需改造 EEG 编码器、扰动方式与重建目标,不能直接照搬文本离散噪声。低信噪比、通道差异和被试差异可能使恢复任务偏向背景噪声,小数据条件下也可能过拟合。一个可证伪的小实验是在固定 EEG 数据划分、编码器和训练预算下,对照仅对比学习、仅去噪及联合目标,并分别评估被试内与跨被试的同一任务指标。相关 EEG 工作尚未检索确认。

阅读价值

值得核对 DenoSent 的句内去噪目标及其与句间对比学习的互补性,但其对 EEG 表征学习的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net