跳到正文
OpenReview · Representation learning· Gao Peifeng; Qianqian Xu; Peisong Wen; Zhiyong Yang; Huiyang Shao; Qingming Huang·· 2023-04-25精选AI 评分77

特征方向很重要:通过旋转平衡表征实现长尾学习

Feature Directions Matter: Long-Tailed Learning via Rotated Balanced Representation

AI 导读

基于摘要分析。本文研究视觉识别中的长尾分类问题,质疑将线性分类器固定为 Equiangular Tight Frame(ETF)即可获得良好泛化的观点,提出 Representation-Balanced Learning Framework(RBL):通过引入正交矩阵学习方向,同时保持 ETF 的几何结构。 核心机制是将类别表征的几何结构与其方向选择区分开来。作者认为,即使固定方向的特征结构完全对称,也可能损害泛化;RBL 因而保留 ETF 的结构约束,同时允许方向调整。摘要未给出正交矩阵的具体参数化、优化方式、损失函数或训练流程,这些实现条件尚未验证。 理论方面,作者报告 RBL 的特征学习对训练集标签分布不敏感,能够学习平衡的表征空间,并通过训练稳定性分析其泛化性质。为处理带正交约束的参数,作者提出 Two-Parameter Model Stability 分析范式。上述结论的适用假设、平衡表征的数学定义及泛化界仍需查阅全文。实验方面,作者报告在多个基准数据集上具有优势,但摘要未提供数据集名称、划分、对照方法或具体指标;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可检验的迁移假设是,在存在类别不平衡的 EEG 分类中,保留类别几何结构但允许方向学习,可能比固定 ETF 分类器更适应信号表征。原方法依赖带类别标签的特征学习,摘要未明确数据规模要求;可复用的是 ETF 结构与正交方向学习机制,需适配 EEG 编码器及任务类别设置。低信噪比、跨被试分布差异和小样本可能使方向学习不稳定,通道配置变化也可能削弱共享表征。可在同一 EEG 数据划分与编码器下,比较固定 ETF 与可学习方向版本,并分别报告类别均衡和不均衡条件下的 Balanced Accuracy、少数类召回率及多次运行波动。已有 EEG 相关工作尚未检索确认,不能据此认定其具有 BCI 效果。

阅读价值

值得核对其如何在保持 ETF 类间几何结构的同时学习特征方向,以及关于标签分布不敏感与训练稳定性的理论条件;摘要尚不足以验证其性能优势及 EEG 适用性。

来源:OpenReview · Representation learning · openreview.net