余弦度量过于浅层:来自句子嵌入空间的证据
The cosine measure is too shallow: Evidence from the sentence embedding space
基于摘要分析。本文研究句子嵌入空间中的距离是否能准确反映语言信息及任务能力差异,提出常见的几何分析所揭示的局限可能部分来自距离度量,而不一定是嵌入本身的信息不足。研究对象是多个基础模型的句子表征,并非 EEG 或 BCI。 方法上,作者为每个模型比较三种句子表征变体,避免将主观相似度评分作为评估依据,转而考察变体之间的距离是否对应其语言任务表现差异,以及这些变体是否以相似方式编码相同信息。摘要未说明模型名称、表征变体的构造方式和具体信息检测方法。 作者报告,在 HOLMES 数据集的多种任务上,表征变体之间的余弦距离和欧氏距离不能预测其相对表现。作者还报告,当允许语言信息以特征的加权组合形式编码时,可以在三种表征变体中检测到以相同方式编码的 chunk structure(组块结构)信息。据此,作者认为,逐维考察嵌入的距离度量不足以捕捉多层语言信息所形成的复杂相似性。这不等于证明余弦度量在所有任务中无效,也不直接证明所有各向异性现象都由度量造成。实验协议、定量结果、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 表征研究以余弦距离判断模型是否保留相同任务信息,本文提供了一个可检验的假设——距离变化未必意味着可解码信息发生同等变化。可复用的是“距离—下游表现—信息可解码性”的交叉核对框架;语言组块结构探测需改为适合 EEG 任务的监督探测,并控制被试和通道差异。低信噪比、小样本及探测器过拟合可能使结论不稳定。一个小实验是在固定跨被试划分下,对同一 EEG 表征及可逆线性变换后的表征,比较余弦距离变化与重新训练探测器后的任务表现,检验两者是否一致变化;这仅验证评估敏感性,不代表 BCI 性能提升。已有 EEG 相关工作尚未检索确认。
值得阅读之处在于,作者通过句子表征变体的任务表现与语言信息编码方式,检验余弦和欧氏距离是否足以反映表征差异,但其结论对 EEG/BCI 表征评估的适用性尚未验证。
来源:OpenReview · State space models · openreview.net