用于基于相关性的多视图表征学习的 Rademacher complexity 正则化
Rademacher Complexity Regularization for Correlation-Based Multiview Representation Learning
该研究针对深度多视图表征学习中,复杂视图间映射可能导致过拟合和表征过度相关的问题,提出基于 DNN 的 Rademacher complexity、面向多视图相关性最大化设计的正则化方法。基于摘要分析,未取得论文全文。 核心思路是在学习高相关表征时约束模型复杂度,而不只追求更高的视图间相关性。作者报告,在合成数据上,该正则化得到噪声更少的表征;在真实多视图数据集上,下游任务性能有所改善。摘要未提供具体数据集、任务、评估指标、数值或对照基线,正则项的计算形式、复杂度估计方式、训练开销、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务具有可配对的多视图数据,并使用相关性最大化目标学习表征,这类复杂度约束可能用于抑制对偶然相关性的拟合。可尝试复用的是相关性目标上的正则化思路;需核对并改造的是其对 EEG 编码器的适用条件、视图构造与正则强度。低信噪比、小样本及跨被试或通道差异可能使复杂度估计不稳定,也可能导致有用信号被过度压制。一个可检验的小实验是在固定视图构造、编码器和数据划分下,对比不加正则、常规正则与所提正则,联合观察未见数据上的视图相关性和下游任务表现,避免仅凭训练相关性判断有效性。已有 EEG 相关工作尚未检索确认。
值得核对其如何将 Rademacher complexity 转化为适用于多视图相关性最大化的正则项,以及下游性能改善能否与单纯提高视图间相关性区分;其对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net