跳到正文
OpenReview · Representation learning· Lingjie Yi; Jiachen Yao; Weimin Lyu; Haibin Ling; Raphael Douady; Chao Chen·· 2025-01-23精选AI 评分77

长尾表示学习的几何:面向偏斜分布的特征再平衡

Geometry of Long-Tailed Representation Learning: Rebalancing Features for Skewed Distributions

AI 导读

基于摘要分析。本文研究长尾图像分类中头部类别主导特征空间、尾部类别表示相互重叠的问题,通过理论分析刻画尾部类别中心收缩或坍缩的条件,并提出 FeatRecon,通过重构特征空间,使不同类别的特征分布于对称且线性可分的区域。 理论与机制:作者指出,长尾数据不仅造成类别样本数量不均衡,还会改变表示空间的几何结构;尾部类别中心可能相互靠近,甚至坍缩为同一点,使重叠区域内的特征难以区分。作者进一步认为,由于训练数据与真实数据之间存在分布偏移,仅在训练数据上经验性纠正偏斜表示不足以分离这些重叠特征。FeatRecon 的目标是直接重构特征空间,而非仅纠正已有表示的偏斜;具体重构操作、目标函数、理论成立条件与训练流程尚未验证。 实验依据:作者报告在 CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT 和 iNaturalist 2018 上通过实验验证方法有效性。摘要未提供指标数值、长尾比例、数据划分、骨干网络或对照基线,因此无法判断提升幅度及其在头部、尾部类别间的分布;实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设 EEG 分类任务具有类别标签、类别频次不均衡,并且尾部类别出现类似的特征中心收缩,FeatRecon 的特征几何约束可能为少数类别识别提供可检验思路。可考虑复用特征空间重构机制,但需适配 EEG 编码器及被试、通道差异;低信噪比、小样本下的类别中心估计不稳定,以及跨被试偏移,可能使对称化约束失效。一个小规模检验是在固定 EEG 编码器与数据划分下,构造训练集类别不均衡,对比基线与加入该机制后的尾部类别召回率、Balanced Accuracy 和类别中心距离,并核对几何改善是否伴随识别改善。原领域结果不等于 BCI 有效性,已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是作者对长尾类别中心收缩与坍缩条件的理论分析,以及 FeatRecon 如何针对特征重叠重构表示空间;其理论假设、实验收益与 EEG 适用性尚需验证。

来源:OpenReview · Representation learning · openreview.net