跳到正文
OpenReview · State space models· Safa Cicek; Stefano Soatto·· 2019-01-01精选AI 评分71

用于半监督学习的输入空间与权重空间平滑

Input and Weight Space Smoothing for Semi-Supervised Learning

AI 导读

基于摘要分析。本文研究半监督学习中的经验损失正则化,将已有的输入空间平滑与基于 min-max(对抗)优化的权重空间平滑相结合,提出 Adversarial Block Coordinate Descent(ABCD)算法。主要研究对象是通用半监督学习,而非 EEG 或 BCI。 其核心机制是在同一 mini-batch 中,随机选取一部分权重,以较小学习率执行梯度上升;其余权重执行标准梯度下降。与仅对输入空间进行平滑的思路相比,本文将正则化作用扩展至参数空间。摘要未给出输入扰动方式、具体损失表达式、随机权重子集的选择规则及两类更新的调度细节,这些实现条件尚未验证。 作者报告该方法实现简单,并达到当时的 state-of-the-art 表现;但所给摘要未列出数据集、标注比例、划分协议、对照方法及指标数值,因此无法据此判断增益大小或适用范围。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 分类已有可用的半监督训练目标,可检验权重空间平滑是否有助于缓解小标注数据下的过拟合。可复用候选是 ABCD 的参数分块更新;输入空间平滑则需适配 EEG 的时频结构及标签保持约束。低信噪比、跨被试分布差异和通道变化可能使扰动破坏判别信息,参数梯度上升也可能增加小数据训练的不稳定性。一个可证伪的小实验是在固定 EEG 数据划分、标注比例和骨干网络下,对比仅输入空间平滑与加入 ABCD 的方案,并核对多随机种子下的分类表现和训练稳定性。该设想不代表已证实的 EEG 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 ABCD 如何以同一 mini-batch 内的分块梯度上升与下降实现权重空间平滑,以及它相对仅输入空间平滑的增益;摘要中的性能主张尚需全文实验支持。

来源:OpenReview · State space models · openreview.net