跳到正文
OpenReview · State space models· Safa Cicek; Stefano Soatto·· 2018-01-01精选AI 评分75

用于半监督学习的输入空间与权重空间平滑

Input and Weight Space Smoothing for Semi-supervised Learning

AI 导读

基于摘要分析。该研究针对半监督学习中的经验损失正则化,提出同时在输入(数据)空间与权重(参数)空间进行平滑,并以 Adversarial Block Coordinate Descent(ABCD)实现权重空间的对抗式优化。核心贡献是将两类平滑视为不等价但互补的机制,而非可相互替代的正则化方式。 机制上,作者认为两类平滑分别影响表示的最小性与对无关变异的鲁棒性,但摘要未明确二者的逐一对应关系。方法将已有的输入空间平滑与基于 min-max 优化的权重空间平滑结合:在同一 mini-batch 中,随机选择一部分权重,以较小学习率进行梯度上升,对其余权重执行常规梯度下降。具体损失函数、随机权重子集的采样方式及输入扰动构造尚未验证。 作者报告,在所评估的半监督学习设置中,该方法采用相对简单的架构、无需重度数据增强,即可取得与当时先进方法相当的性能。摘要未给出数据集、标注比例、划分协议、指标数值及对照方法,因此尚不能核对这一比较的适用范围;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可检验的迁移假设是,联合输入与权重扰动可能有助于缓解少标注 EEG 分类中的过拟合,但原领域结果不等于 BCI 有效性。可复用 ABCD 的参数更新机制;输入平滑则需改造为保留任务相关时空结构的 EEG 扰动。其对未标注数据的具体利用方式与数据规模要求仍需查阅全文。低信噪比、小样本及跨被试分布差异可能使输入扰动破坏判别信息,权重上升也可能放大训练不稳定性。一个小规模验证是固定 EEG 数据划分、标注比例、骨干网络和训练预算,对照无平滑、仅输入平滑、仅权重平滑及二者联合,并在相同协议下比较分类指标与多次运行波动。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将输入空间与权重空间平滑区分为互补正则化机制,以及 ABCD 在同一 mini-batch 内交替执行参数上升与下降的实现思路;其半监督效果及 EEG 迁移价值仍需结合完整实验验证。

来源:OpenReview · State space models · openreview.net