在 Lp 超球面上学习表征:MAP 方法下损失函数的等价性
Learning representations on Lp hyperspheres: The equivalence of loss functions in a MAP approach
基于摘要分析。本文研究分类任务中将深度神经网络表征约束到 Lp 单位超球面时,投影方式与训练目标之间的关系,提出基于最大后验概率(MAP)建模的统一理论框架。核心贡献是推导多元高斯分布投影到任意 Lp 超球面后的概率分布及相应的一般损失函数,并据此分析不同投影的理论等价性。 机制上,论文将常见的 L2 单位超球面表征约束推广至 Lp 情形,把投影后的概率建模与分类损失联系起来。作者主张,在该 MAP 框架下,不同 Lp 投影具有理论等价性,同时可为带温度的 Softmax Cross Entropy(SCE-τ)提供新的解释。这里的等价性应结合相应目标函数理解,不能直接理解为任意归一化方式搭配同一损失都会得到相同结果;具体假设、适用的 p 范围及等价性的严格定义尚需核对正文。 作者报告,在标准计算机视觉数据集的分类实验中,采用适当目标函数时,不同 Lp 单位超球面投影呈现经验上的等价性;对投影表征使用经优化选择温度的 SCE-τ,也获得了可比表现。摘要未提供数据集名称、划分、基线及指标数值,实验协议、温度选择流程、消融及统计信息尚未验证。 平台推测(待验证):其可迁移点是表征归一化与分类目标的配套设计,而非已验证的 EEG 特征提取方法。假设 EEG 分类器输出的向量表征适合相应概率建模,可复用投影及损失构造,但需核对其分布假设,并适配 EEG 编码器。低信噪比、跨被试分布变化及小数据条件下的温度选择不稳定,都可能使视觉实验中的结论不再成立。一个小规模可证伪实验是固定 EEG 编码器和 Cross-subject 划分,仅比较不同 Lp 投影及其配套目标,并在训练侧验证集选择温度,检验性能是否仍可比。已有 EEG 相关工作尚未检索确认。
值得核对其 MAP 推导中投影与目标函数配套时的等价条件,以及该框架对温度化 Softmax Cross Entropy 的解释;摘要中的视觉实验尚不能支持 EEG/BCI 有效性。
来源:OpenReview · Representation learning · openreview.net