跳到正文
OpenReview · Representation learning· Shuo Chen; Gang Niu; Chen Gong; Okan Koc; Jian Yang; Masashi Sugiyama·· 2024-01-16精选AI 评分75

采用差分对齐正则化的鲁棒相似性学习

Robust Similarity Learning with Difference Alignment Regularization

AI 导读

基于摘要分析。本文研究通用相似性表征学习中的过拟合问题,提出差分对齐正则化(difference alignment regularization,DAR),不仅约束样本对的表征差分与相似性监督一致,还进一步限制不同类间样本对的表征差分变化。研究对象涵盖有监督 metric learning 和无监督 contrastive learning,并非专门面向 EEG 或 BCI。 核心机制:作者认为,仅让每对样本的嵌入差分符合对应的真实或伪相似性监督,仍可能出现差分剧烈变化、簇结构紊乱的情况。DAR 鼓励类间样本对的表征差分彼此接近;作者为此构造 cross-total-variation(CTV)范数来衡量差分之间的分歧,并将其转化为等价随机形式以便优化。该正则项与经验损失结合,形成 difference-aligned similarity learning(DASL)。具体差分定义、样本对构造、随机估计方式及正则强度设置尚未验证。 理论与实验:作者报告,该正则项可收缩假设空间,并在理论上收紧传统相似性学习的误差界;摘要未给出证明假设与界的具体形式。作者还报告,DASL 在多领域数据的有监督 metric learning 和无监督 contrastive learning 任务上优于已有方法,但未提供数据集名称、划分、对照基线或指标数值。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 表征的过拟合与样本对差分不稳定有关,DAR 可能作为正则模块接入现有编码器;这依赖可靠的类别标签或伪相似性监督,以及适当的样本对采样。迁移时需核对类间差分的方向定义,并改造被试、会话及通道条件下的配对策略。低信噪比、小样本和伪标签误差可能使差分对齐放大错误约束,过强正则也可能压制真实的跨被试差异。一个可证伪的小实验是在固定编码器与 Cross-subject 划分下比较加入 DAR 前后的性能,并检查差分离散度下降是否伴随分类改善,而非仅使表征收缩。相关 EEG 工作尚未检索确认。

阅读价值

值得核对其通过约束类间表征差分变化来缓解过拟合的机制,以及 CTV 随机优化形式与误差界收紧的适用条件;其 EEG/BCI 迁移价值尚未验证。

来源:OpenReview · Representation learning · openreview.net