用于句子语义表示的静态词嵌入

基于摘要分析。本文研究如何用低计算成本的静态词嵌入获得较强的句子语义表示，提出从预训练 Sentence Transformer 提取词嵌入，再通过句子级主成分分析及知识蒸馏或对比学习进行优化的方法。推理时仅对词嵌入取平均，无需运行完整的 Sentence Transformer。 方法的关键是将句子级语义信息融入静态词向量：先进行句子级主成分分析，再选择知识蒸馏或对比学习作为后续优化路径。摘要未给出词嵌入提取方式、主成分处理细节、蒸馏目标、对比样本构造或损失定义，相关实现尚未验证。 作者报告，在单语和跨语言任务中，该方法在句子语义任务上明显优于现有静态模型，并在一个文本嵌入基准上超过基础 Sentence Transformer 模型 SimCSE。摘要未提供基准名称、数据划分、评价指标或具体分数，因此不能据此判断优势幅度及跨任务稳定性。作者还报告，分析表明该方法能够移除与句子语义相关性较低的词嵌入分量，并依据词对句子语义的影响调整向量范数。 复现需核对预训练模型、训练语料与监督来源、词表覆盖、句子级主成分分析的拟合数据，以及单语和跨语言评估协议。实验协议、消融及统计信息尚未验证。本文的主要研究对象是文本语义表示，所给材料不涉及 EEG 或 BCI，不能据此认定其对神经信号建模有效。