以生成式目标而非对比目标进行句子表征学习

基于摘要分析。本文研究预训练语言模型对句子级表征学习关注不足的问题，提出基于短语重建的生成式自监督学习目标，作为对比学习目标的替代方案。其核心思路是将句子拆分为重要短语，以建模句内结构并学习句子表征。 机制与结果：作者认为，主流对比目标的语言学可解释性有限，且不能保证下游语义任务表现；这是作者的研究动机，不应视为对所有对比方法的普遍结论。作者报告，所提生成式方法在 STS benchmarks，以及下游语义检索和重排序任务上优于当时的先进对比方法。摘要未提供具体数据集、划分、基线名称或指标数值，因此无法判断收益幅度及适用范围。重要短语的识别方式、重建条件、损失形式、表征提取方式、实验协议、消融及统计信息尚未验证。摘要提供了代码仓库，但实现与复现条件尚未核查。 平台推测（待验证）：可迁移的假设是，以结构化局部单元重建约束整体表征，可能为 EEG 自监督学习提供一种目标设计思路，而非直接复用文本短语处理。原方法依赖离散语言序列及重要短语结构；迁移时需把短语划分改造为适合 EEG 的时段或通道组定义，并调整重建目标。低信噪比、跨被试差异、通道配置变化和小数据条件可能使模型主要重建背景噪声，未必获得任务相关表征。一个可证伪的小实验是在固定数据划分、编码器与训练预算下，对比结构化片段重建、随机片段重建及对比目标，并分别评估被试内与跨被试下游表现。上述迁移尚未验证，已有 EEG 相关工作尚未检索确认。