结构感知的鲁棒自监督多实例学习
Robust Self-Supervised Multi-Instance Learning with Structure Awareness
基于摘要分析。该研究针对多实例学习(MIL)的袋级表征依赖大量标注数据的问题,提出结构感知的自监督架构 SMILEs,在无标签条件下学习袋级表征,同时考虑实例顺序的置换不变性、袋内拓扑结构及输入扰动鲁棒性。原论文的研究对象是通用 MIL,并非 EEG 或 BCI。 方法对同一多实例袋进行不同形式的增强,以对比学习提高这些增强视图的表征一致性。为捕捉袋内邻近实例间的拓扑关系,SMILEs 学习袋对应的图结构,并将其与消息传递层、ordered weighted averaging 算子共同朝对比损失目标优化。摘要称其主要定理刻画了袋级表征的置换不变性;具体图构建约束、增强方式、损失形式及定理条件尚未验证。 作者报告,相较于所比较的先进监督式 MIL 基线,在 5 个基准数据集及 20 newsgroups 数据集上,分类 Accuracy 平均分别提升 4.9% 和 4.4%。摘要未明确这些提升是相对百分比还是百分点,也未给出数据划分、下游标注使用方式及各基线配置,因此不能据此推断自监督方法普遍优于监督学习。作者还报告模型对输入破坏具有鲁棒性,但扰动类型、强度、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将一段 EEG 记录表示为由多个片段组成的袋,该机制可能用于探索少标签条件下的记录级表征;可复用的是跨增强视图的一致性学习与袋内关系建模,需改造的是 EEG 增强策略、实例定义和图邻接约束。该假设依赖任务能否容许实例置换;若时间顺序携带关键信息,置换不变聚合可能损失任务线索,低信噪比、跨被试差异及小数据也可能使图结构不稳定。可在固定被试划分和标注预算下,对比 SMILEs 与不含结构学习的自监督袋表征,检验结构模块在片段噪声扰动前后的增益。已有 EEG 相关工作尚未检索确认。
SMILEs 将袋内图结构学习与自监督对比学习结合,为少标签多实例表征提供了可核对的方法思路,但其增益协议、噪声鲁棒性边界及 EEG 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net