基于词频诱导对抗调优与不完整句子过滤的无监督句子表征学习

基于摘要分析。本文研究预训练语言模型（PLM）在无监督句子表征学习（USRL）中受词频影响产生的表示偏差，提出 Slt-fai，通过词频诱导的对抗调优与不完整句子检测，改善句子表征的相似性与信息保留。 作者将问题归因于预训练语料中的词频信息：高频词嵌入趋于聚集，低频词嵌入分布稀疏，形成各向异性的嵌入空间，并引发相似性偏差与信息偏差。Slt-fai 在 PLM 的预训练语料上统计词频，通过阈值为词分配频率标签；随后引入相似性判别器，区分高频词与低频词嵌入，并以对抗方式调优 PLM，旨在获得更均匀、对词频不敏感的表示空间。 另一部分随机掩码若干低频词以构造不完整句子，利用信息判别器区分原始句子与不完整句子的嵌入，旨在促使模型重视作者认为信息量更高的低频词。摘要将该框架定位为可与现有 USRL 技术结合的即插即用方案，但未给出具体损失形式、训练调度或过滤操作的实现细节。 作者报告，在多个骨干模型及基准数据集上的评估中，Slt-fai 可优于现有 USRL 基线；摘要未列明数据集、指标、划分、具体对照及数值，效果幅度、实验协议、消融及统计信息尚未验证。复现需核对预训练语料的可获得性、词频阈值、掩码策略和各训练目标的组合方式。 平台推测（待验证）：可探索其“抑制频率相关捷径，同时保留稀有但有用信息”的机制，但此处 frequency 指词语出现频次，并非 EEG 频带。迁移假设依赖于 EEG 中存在可定义的离散事件或片段类别及其出现频次，需要改造频率标签与掩码单元；低信噪比、跨被试差异及小数据可能使稀有模式主要对应伪迹。可先在固定跨被试划分中，对比基础表征方法与加入频率对抗目标的方法，检验其是否改善低频事件的识别而不损害总体表现。已有 EEG 相关工作尚未检索确认。