跳到正文
OpenReview · Representation learning·· 2026-09-17精选AI 评分77

均匀性是相对的:跨表示几何的最大熵原理

Uniformity Is Relative: A Maximum-Entropy Principle Across Representation Geometries

AI 导读

基于摘要分析。本文研究自监督学习中不同表示空间应采用何种均匀性参照,提出在固定测地尺度下,相对于内蕴黎曼体积定义最大熵分布,使均匀性成为几何与尺度的共同属性,而非脱离表示空间的统一目标。 核心机制是依据表示空间自身的体积度量构造参照分布。摘要称,该原则可恢复球面与欧氏空间的典型参照,并在曲空间产生不同的目标分布。作者指出,将切空间高斯分布移植到曲空间会忽略依赖曲率的体积增长,即使重新调整尺度,仍存在不可消除的 Kullback–Leibler 散度差距。论文进一步通过径向—角向分解,得到可处理的小批量优化目标;具体约束、损失表达式及估计方式尚未验证。 作者报告,实验验证了预测的曲率相关几何失配,展示了其对径向和层次组织的影响,并表明内蕴均匀性与跨视图对齐具有互补作用。摘要未提供数据集、任务、对照配置或定量指标,实验协议、消融及统计信息尚未验证,不能据此判断其收益幅度或跨任务稳定性。 平台推测(待验证):若 EEG 自监督表示采用球面或其他黎曼流形约束,该原则可能帮助检验均匀性目标是否与表示几何匹配;原方法依赖明确的几何、尺度和跨视图学习结构,并非直接解决 EEG 低信噪比或跨被试偏移。可复用部分是几何感知的参照分布与均匀性目标,需改造 EEG 编码器、增强方式及尺度估计。假设性小实验可在固定跨被试划分、编码器和对齐目标下,仅替换均匀性目标,同时评估下游性能与表示几何;噪声视图、小样本和被试差异可能使分散目标保留非任务信息。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其如何将均匀性定义为依赖几何与尺度的最大熵分布,以及这一参照相较切空间高斯移植能否改善表示的径向和层次组织;具体实验协议与适用范围尚未验证。

来源:OpenReview · Representation learning · openreview.net