重新审视基于 CLIP 的零样本异常检测中的读出机制
Rethinking Readouts in CLIP-Based Zero-Shot Anomaly Detection
基于摘要分析。本文研究基于 CLIP 的零样本异常检测中,冻结视觉语言表征所含的异常证据能否被最终读出机制充分利用。作者提出保留原检测器,并增加轻量级、以图像为条件的 reader,对现有决策路径进行小幅有界修正,以利用原读出未充分使用的信息。 机制上,论文从典型的二元 CLIP 读出出发,指出其异常分数依赖单一决策方向。作者报告,该方向之外仍存在大量预测信息;这些信息具有结构,并非高维空间的附带产物,而且有效方向随异常情境而变化。新增 reader 使用辅助异常数据训练,原检测器保持冻结;其具体结构、约束形式和训练目标在摘要中未给出。 作者报告,这一有限容量的干预改善了多种基于 CLIP 的异常检测器,但摘要未提供数据集、划分、对照基线、指标或数值。尤其需要核对辅助异常数据与测试类别、异常类型及数据域的关系,才能理解其“零样本”评估边界。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,冻结 EEG 表征的任务信息可能未被简单读出充分利用;但本文主要对象是视觉异常检测,并未验证 EEG 或 BCI 效果。可复用的是“冻结表征、限制读出修正幅度”的比较框架,需将图像条件模块改为 EEG 条件模块,并明确辅助训练数据的边界。低信噪比、通道差异、跨被试分布变化及小样本条件可能使 reader 学到伪相关。一个可证伪的小实验是在固定跨被试划分、冻结同一 EEG 编码器的条件下,对比原读出与有界修正读出,同时设置参数量匹配的读出对照;若增益不能在留出被试上复现,则不支持该迁移假设。已有 EEG 相关工作尚未检索确认。
值得关注的是,作者通过冻结原检测器、仅对读出路径施加小幅有界修正,检验异常检测瓶颈是否来自任务信息利用不足,而非表征本身不足;具体增益与辅助数据训练协议尚待全文核对。
来源:OpenReview · Representation learning · openreview.net