跳到正文
OpenReview · State space models· Konstantinos Kamnitsas; Daniel Coelho de Castro; Loïc Le Folgoc; Ian Walker; Ryutaro Tanno; Daniel Rueckert; Ben Glocker; Antonio Criminisi; Aditya V. Nori·· 2018-01-01精选AI 评分74

通过紧凑潜在空间聚类进行半监督学习

Semi-Supervised Learning via Compact Latent Space Clustering

AI 导读

基于摘要分析。本文研究如何在神经网络半监督学习中利用无标签样本,提出一种鼓励潜在空间形成紧凑类别簇的代价函数,以促进类别分离。其主要贡献是将基于图的正则化用于训练,同时保留高效的归纳式推理,且据作者介绍无需修改网络架构。 核心机制是在每个训练批次中,以有标签和无标签样本的嵌入动态构图,捕捉特征空间中的结构,再通过标签传播估计高密度与低密度区域。作者据此设计基于图上 Markov chains 的代价函数,引导每个类别形成单个紧凑簇,并尽量避免优化过程中扰动已有簇。摘要未给出图边权、转移概率、损失公式及其与监督目标的组合方式,这些实现细节尚未验证。 作者报告在三个基准上进行了评估,并与当时的先进方法比较,结果具有潜力;但摘要未列出基准名称、标签预算、数据划分、具体指标和数值,因此无法判断收益幅度及其适用条件。实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可能用于标签有限但有无标签训练数据的 EEG 分类,复用嵌入构图、标签传播与聚类正则,需针对 EEG 编码器及批次采样进行适配。关键假设是嵌入邻域能够反映任务类别,而非被试、会话或噪声;低信噪比、通道差异、小批次及类别内部多模态结构可能破坏该假设,单类单簇约束也可能压缩有用差异。可在固定跨被试划分及相同标签预算下,对比同一编码器的纯监督训练与加入该正则的训练,仅使用训练侧无标签样本,并检查分类指标和邻域类别一致性是否同步改善。已有 EEG 相关工作尚未检索确认。

阅读价值

该研究以训练批次内的动态图、标签传播和 Markov chains 构造潜在空间聚类正则,提供了不改网络架构即可利用无标签数据的具体机制,值得核对其聚类假设与复现条件,但其 EEG/BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net