基于局部自适应似然比的预训练表征空间无监督新颖性检测
Unsupervised novelty detection in pretrained representation space with locally adapted likelihood ratio
基于摘要分析。本文研究仅有无标签正常样本时的新颖性检测,尤其关注正常类别与新颖类别在语义上接近的情形。作者提出在预训练表征空间中结合 k-NN、局部维度缩放与似然比,修正简单近邻距离对局部分布几何和无关背景特征考虑不足的问题。 方法以预训练模型输出的表征为基础,利用“最近邻的邻居”进行局部自适应维度缩放,并计算似然比作为新颖性判断依据。其依赖正常样本形成的邻域结构,以及预训练表征对相关语义的保留能力;具体邻域构造、缩放公式、似然比的定义与估计方式尚未验证。 作者报告,在图像数据实验中,使用现成的 vision transformer(如以 DINO 预训练的模型)作为特征提取器、且不进行微调时,该方法表现出优势。摘要未提供数据集、划分、具体对照结果或指标数值,实验协议、消融及统计信息尚未验证,不能据此判断收益幅度及适用边界。 平台推测(待验证):若 EEG 预训练表征中的正常状态具有可估计的局部邻域,而被试差异或噪声形成干扰维度,该局部缩放与似然比评分机制可能用于异常片段或未知状态检测。可复用部分是邻域评分机制,需改造特征提取器及正常样本库;低信噪比、跨被试分布偏移、通道变化和小样本均可能使近邻关系失真,甚至将真实异常差异当作背景压低。一个可检验的小实验是固定 EEG 编码器,在预先划定的正常训练样本上建立邻域库,按被试隔离测试集,在相同表征与划分下比较 k-NN 距离和该方法,并检查局部缩放的贡献。已有 EEG 相关工作尚未检索确认。
值得核对其如何利用局部邻域几何与似然比修正预训练表征中的 k-NN 新颖性评分;作者报告的优势限于图像实验,EEG 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net