双曲表示学习的数值稳定性
The Numerical Stability of Hyperbolic Representation Learning
基于摘要分析。本文研究双曲表示学习中的数值不稳定问题,分析 Poincaré ball 与 Lorentz model 在浮点表示和优化方面的限制,并提出一种双曲空间的欧氏参数化以缓解这些问题。主要研究对象是适用于层级数据的双曲表示,而非 EEG/BCI 信号解码。 双曲空间能够以较小失真嵌入树结构,但有限浮点精度可能使训练遇到不可表示的数值并产生 NaN。作者报告,在 64-bit 算术条件下,Poincaré ball 正确表示点的容量相对更大;Lorentz model 则在优化性质上更有优势,作者称对此给出了理论验证。这一区分提示,可表示容量与优化表现不能视为同一指标,但具体容量定义、理论条件及适用范围仍需正文核对。 方法上,作者采用欧氏参数化缓解上述限制,并将其扩展到双曲超平面。作者报告,该扩展改善了 hyperbolic SVM 的性能;摘要未提供数据集、划分、基线、指标或提升幅度,实验协议、消融及统计信息尚未验证。参数化公式、数值边界与实现条件亦需查阅全文。 平台推测(待验证):若某项 EEG 研究已使用双曲空间表达明确的层级结构,该参数化可能作为表示层或分类器的数值稳定性改造,而不应直接视为新的 EEG 特征提取方法。其适用性依赖层级结构是否合理,以及原有双曲模型和监督任务;低信噪比、跨被试差异与小样本条件下,即便 NaN 减少,也未必改善泛化。可在固定 EEG 数据划分、特征、分类任务与数值精度下,对比原参数化和欧氏参数化,记录 NaN 发生率、优化收敛及同一任务指标,以检验收益是否超出数值稳定性本身。已有 EEG 相关工作尚未检索确认。
该研究区分双曲表示的浮点可表示容量与优化性质,并提出欧氏参数化缓解数值问题,适合用于核查双曲学习实现中的 NaN 风险;其对 EEG/BCI 的价值尚未验证。
来源:OpenReview · Representation learning · openreview.net