双曲表示学习的数值稳定性
The Numerical Stability of Hyperbolic Representation Learning
基于摘要分析。本文研究双曲表示学习在浮点运算下的数值不稳定问题,比较 Poincaré ball 与 Lorentz model 的表示限制和优化性质,并提出一种欧氏参数化以缓解相关问题,进一步将其扩展至双曲超平面和双曲 SVM。 双曲空间能够以较小失真嵌入树结构,因而适用于层级数据表示,但训练中可能遇到浮点系统无法表示的数值,进而产生 NaN。作者报告,在 64 位算术条件下,Poincaré ball 正确表示点的容量相对大于 Lorentz model;另一方面,Lorentz model 在优化性质上更具优势,作者称对此给出了理论验证。这一区分提示,表示容量与优化便利性并非同一评价维度,不能仅据其中一项判断模型整体优劣。 作者以欧氏参数化处理上述限制,并报告将该参数化推广到双曲超平面后,可以改善双曲 SVM 的性能。摘要未提供参数化公式、数值边界、数据集、基线或性能数值,实验协议、消融及统计信息尚未验证;复现前需核对参数化与距离、梯度和超平面计算的具体关系,以及浮点精度和优化设置。 平台推测(待验证):若 EEG 任务确有可利用的层级标签或树状关系,且已采用双曲嵌入,该数值稳定性分析可能用于改进表示与分类模块,而非直接解决 EEG 特征提取问题。可复用部分是双曲空间参数化及超平面表示,需适配的是 EEG 编码器和层级监督;低信噪比、跨被试差异及小样本可能使层级假设失效,数值稳定也不等于解码性能提高。一个可检验的小实验是在固定编码器、数据划分、精度和优化预算下,仅替换双曲参数化,对照 NaN 发生情况、收敛行为及分类表现。相关 EEG 工作尚未检索确认。
值得关注其对双曲表示容量与优化稳定性的区分,以及通过欧氏参数化缓解数值问题的机制;具体稳定性边界和复现效果仍需全文核对。
来源:OpenReview · Representation learning · openreview.net