跳到正文
OpenReview · State space models· Wentao Bao; Qi Yu; Yu Kong·· 2023-01-01精选AI 评分71

用于细粒度开放集识别的潜空间能量模型

Latent Space Energy-based Model for Fine-grained Open Set Recognition

AI 导读

基于摘要分析。本文研究视觉细粒度开放集识别(FineOSR):在区分外观差异微小的已知图像类别时,拒绝未知类别图像。作者提出在低维潜空间中使用能量先验分布,结合属性建模与虚拟异常样本合成,探索生成建模和判别式未知类检测的联合实现。 核心机制:作者认为,现有能量模型(EBM)在高维空间中的密度估计存在困难,因此转向低维潜空间建模。在此基础上提出属性感知信息瓶颈(AIB)、残差属性特征聚合(RAFA)和基于不确定性的虚拟异常样本合成(UVOS);按摘要描述,三者分别用于改善细粒度类别样本的表达能力、细粒度表征及密度建模。方法可结合 vision transformers 支持视觉分类与生成,但潜变量构造、属性监督来源、能量函数、训练损失与异常判定规则尚未验证。 验证范围:作者报告在细粒度及一般视觉分类数据集上验证了方法,并保留生成高分辨率、照片级逼真合成图像的能力。摘要未给出数据集名称、已知与未知类别划分、对照基线或定量指标,实验协议、消融及统计信息尚未验证,因此不能据此判断各模块的独立收益或拒识性能。 平台推测(待验证):迁移假设是,低维潜空间密度建模与虚拟异常样本合成可能用于 EEG 的已知任务类别识别和未知类别拒识,而非直接沿用图像生成能力。可复用的是潜空间能量先验与异常合成思路;需改造 EEG 编码器、属性定义和合成约束。其依赖的潜空间结构、属性监督及训练规模尚未明确,EEG 的低信噪比、被试与通道差异和小样本条件可能使模型把域偏移误判为未知类别。一个可检验的小实验是,在固定已知/未知任务类别划分与相同 EEG 编码器下,比较基线与加入潜空间能量建模、UVOS 后的已知类 Accuracy 和未知类检测表现,并分别报告被试内与跨被试协议。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其低维潜空间能量先验与虚拟异常样本合成如何兼顾细粒度分类和未知类拒识,但摘要未提供定量结果,其向 EEG 开放集识别的迁移价值尚未验证。

来源:OpenReview · State space models · openreview.net