跳到正文
OpenReview · Representation learning· Jiabin Liu; Bo Wang; Yuping Zhang; Huadong Wang; Biao Li; Xin Shen; Gang Kou·· 2025-01-01精选AI 评分72

用于标签比例学习的渐进式训练

Progressive Training for Learning From Label Proportions

AI 导读

基于摘要分析。本文研究标签比例学习(Learning from Label Proportions,LLP):训练时仅提供分组样本及各组的类别比例,目标是获得实例级分类器。作者提出渐进式训练方法 PT-LLP,试图从组级比例匹配逐步推进到实例级比例约束,以缓解现有深度 LLP 方法所得解难以充分满足给定比例的问题。 机制上,现有方法通常通过组级先验与模型预测类别分布之间的 KL 散度构造比例损失。PT-LLP 首先使用此类方法训练模型,再将更严格的比例一致性要求表述为约束优化问题,并利用最优传输(OT)算法求解;教师—学生框架下的知识蒸馏被用作过渡阶段,将组级信息传递到实例级。摘要未给出具体约束、OT 代价构造、蒸馏目标及各阶段训练细节,其实例级约束不应直接理解为获得了真实实例标签。 作者报告,该框架不依赖特定模型,以不同深度 LLP 方法作为首阶段、在多个数据集上实验时取得显著性能提升;摘要未列出数据集名称、评价指标、提升幅度或划分协议,因此尚不能核对收益大小及适用边界。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务能够获得可信的组级类别比例,而难以获得逐试次标签,PT-LLP 的比例约束与蒸馏机制可能用于弱监督分类。可复用的是渐进训练框架,需改造的是 EEG 编码器、分组方式和比例信息来源;其前提是组级比例可靠且分组保留可辨识的类别结构。低信噪比、跨被试或通道差异、小样本及比例估计误差均可能使严格约束放大错误。一个可证伪的小实验是在固定 EEG 数据划分下,仅用训练集标签构造组级比例,对照 KL 比例损失与 PT-LLP,并扰动比例以检验实例分类表现和约束满足程度是否同步改善。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。

阅读价值

值得关注 PT-LLP 如何通过最优传输与知识蒸馏将组级比例监督推进到实例级约束,但其约束实现、性能收益及对 EEG 弱监督学习的适用性尚需验证。

来源:OpenReview · Representation learning · openreview.net