双曲多分类表征学习的隐式偏置:Busemann 风险视角
The Implicit Bias of Hyperbolic Representation Learning for Multiclass Data: A Busemann Risk Perspective
基于摘要分析。本文研究固定类别原型位于双曲空间 ℍⁿ 时,多分类表征在黎曼梯度流下的隐式偏置。作者以 Busemann 函数刻画大半径区域的方向依赖项,将表征向边界移动的径向动力学与边界方向的收敛行为分开分析,为边界饱和和近边界聚类提供渐近理论解释。 核心机制是:在大半径条件下,到各类别原型的距离可分解为径向项与由 Busemann 函数描述的方向项。分析适用于一般的 permutation invariant relative margin(PERM)损失,摘要明确指出该类包含 cross entropy 及其他标准多分类损失;具体损失条件及证明假设尚未验证。 作者报告两项理论结果:其一,漂移系数 μ 的符号决定半径趋向理想边界还是返回内部;若正漂移持续,则 r(t)=½ log t+O(1),若负漂移持续,轨迹会在有限时间内返回大半径阈值。上述结论针对所分析的黎曼梯度流及相应持续漂移条件,不应直接视为离散优化器的训练规律。其二,边界方向收敛到双曲空间边界 ∂ℍⁿ 上 Busemann 风险的临界点;临界点收敛不等同于全局最优或分类性能提升。 平台推测(待验证):若 EEG 分类采用双曲表征与固定类别原型,这一分解可能用于诊断嵌入半径持续增长和方向聚集,但并不保证低信噪比、跨被试变化或小数据条件下的泛化收益。可复用的是径向与方向分解的分析思路,需改造并核对的是实际编码器、离散更新和原型设置与理论假设的对应关系。一个可检验的小实验是在固定 EEG 数据划分及固定原型条件下,记录训练中的半径、方向变化和分类指标,检验是否出现理论描述的渐近行为。已有 EEG 相关工作尚未检索确认;全文中的证明条件、实验协议、消融及统计信息尚未验证。
值得阅读的具体原因是,作者通过径向漂移与边界方向风险的分解,为固定类别原型的双曲多分类表征中边界饱和和近边界聚类提供可核对的渐近解释,但其对实际训练及 EEG 表征的适用性尚未验证。
来源:arXiv · 表征与预训练 · arxiv.org