跳到正文
OpenReview · Representation learning· Jhoan Keider Hoyos; Santiago Posso-Murillo; Luis Gonzalo Sanchez Giraldo·· 2023-09-24精选AI 评分82

表征 Jensen-Shannon 散度

The Representation Jensen-Shannon Divergence

AI 导读

基于摘要分析。本文研究如何在未知底层概率分布时,从经验样本估计分布差异,提出受 Jensen-Shannon 散度启发的 representation Jensen-Shannon divergence(RJSD),通过表征空间中的算子刻画分布,避免直接估计概率密度。 核心机制是将数据嵌入再生核希尔伯特空间(RKHS),并把数据分布关联到该空间中的非中心化协方差算子。作者提供两种估计路径:一是利用 Fourier features 显式映射到 RKHS,再通过经验协方差矩阵估计;二是直接基于核矩阵估计,无需显式映射。作者称估计器具有可扩展、可微且适于小批量优化的特点,并给出一致性收敛结果。作者还报告 RJSD 是 Jensen-Shannon 散度的下界,由此构建具有理论保证的变分估计方法;相关假设与保证范围需核对全文。 在应用方面,作者报告使用该散度训练生成网络能够缓解模式坍塌并提高样本多样性,在多个双样本检验问题中优于所比较的方法。摘要未提供数据集、样本规模、具体基线、指标或数值,因此无法判断优势幅度及适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):RJSD 可作为 EEG 跨被试或跨会话分布偏移的候选度量,其可复用部分是核映射与协方差算子估计,需改造部分是适合 EEG 时间、频谱及通道结构的输入表征与核选择。该路径依赖可比的样本表征和足够稳定的经验协方差估计;低信噪比、通道不一致及小样本可能使测得差异主要反映伪迹或估计波动,且减小整体分布差异不等于改善任务判别。一个可检验的小实验是在固定 EEG 表征、等样本量及被试隔离的前提下,对同会话拆分与跨会话样本实施双样本检验,比较 RJSD 与 MMD 的检验功效、误报率及重复抽样稳定性,不将该结果直接解释为解码提升。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是以 RKHS 中的非中心化协方差算子估计分布差异、避免直接密度估计的机制,以及显式 Fourier features 与核矩阵两条实现路径;其 EEG 分布偏移检测价值尚未验证。

来源:OpenReview · Representation learning · openreview.net