用于分布外检测的双重表征学习
Dual Representation Learning for Out-of-distribution Detection
基于摘要分析。本文研究通用深度神经网络的分布外检测问题,提出 Dual Representation Learning(DRL),通过联合类别判别表征与分布判别表征,降低分布外样本获得高置信度预测的可能性;研究对象并非 EEG 或 BCI。 核心机制是对分类信息与分布信息进行互补建模。作者从信息瓶颈视角出发,认为分类网络倾向于保留与标签强相关的信息、舍弃弱相关信息,而这些被弱化的信息可能有助于区分分布内与分布外样本。DRL 在预训练分类网络之外训练辅助网络,学习剩余的弱标签相关信息;具体通过整合与类别判别表征相似度较低的多样化表征,构造互补的分布判别表征,再联合两类表征完成检测。相似度定义、多样性约束、损失形式及检测分数的计算方式尚未验证。 作者报告,DRL 在所评估的分布外检测实验中优于所比较的先进方法。摘要未给出数据集、划分、基线名称或指标数值,因此无法判断优势大小及适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 分类表征忽略了能够指示未知输入的信息,互补表征思路可能用于辅助分布外拒识。可复用部分是预训练分类器与辅助表征的组合,需改造的是 EEG 输入编码及检测分数校准;其监督需求、数据规模依赖和辅助网络训练条件仍需核对全文。主要风险是弱标签相关信息在 EEG 中可能更多反映低信噪比、被试差异或通道差异,而非需要拒识的未知类别。一个可检验的小实验是假设类别集合已定义,在固定被试划分与训练数据条件下,以未参与训练的任务类别作为分布外输入,对照分类器置信度与 DRL 式互补表征,并单独检查正常跨被试变化引起的误拒识。该实验仅为迁移假设,已有 EEG 相关工作尚未检索确认。
值得核对 DRL 的互补表征构造与融合机制:作者尝试利用分类表征弱化的信息识别分布外样本,但其优势所依赖的评估协议及对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net