跳到正文
OpenReview · State space models· Jiaan Luo; Feng Hong; Qiang Hu; Xiaofeng Cao; Feng Liu; Jiangchao Yao·· 2025-12-31精选AI 评分73

基于模型再平衡的长尾识别

Long-tailed Recognition with Model Rebalancing

AI 导读

基于摘要分析。本文研究类别分布偏斜导致尾部类别泛化不足的问题,涉及常规深度学习及基础模型下游微调。作者提出 Model Rebalancing(MORE),通过直接调整模型参数空间的分配来缓解长尾不平衡,而非仅依赖数据增强、损失再平衡或解耦训练。 机制上,MORE 引入低秩参数组件,以定制损失和正弦重加权调度引导参数空间分配。摘要未给出低秩组件的具体参数化方式、插入位置、损失公式及调度细节,因此尚不能判断其与既有低秩适配方法的具体区别。作者报告,该设计不增加整体模型复杂度或推理成本;相关参数量、训练开销与推理开销的核算条件仍需核对。 作者报告,在覆盖多分类和多标签任务的多种长尾基准上,MORE 改善了泛化表现,尤其有利于尾部类别,并可与既有不平衡缓解方法互补。摘要未列出数据集名称、类别不平衡程度、划分、对照方法或指标数值,无法据此量化收益或比较不同协议;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 分类任务存在明显类别长尾,参数空间再平衡可能提供不同于重采样或类别加权的干预路径。该假设依赖可训练的参数化模型及类别监督,需改造低秩组件的接入位置,并检验调度是否适配 EEG 小数据训练。低信噪比、跨被试差异与通道变化可能使类别不平衡以外的因素主导误差,低秩调整也可能拟合少量尾部样本的噪声。一个可证伪的小实验是在固定跨被试划分、训练集类别比例和骨干模型下,对照原模型、类别加权及 MORE,比较 Balanced Accuracy 与逐类别召回率,并单独核算参数量和推理开销。上述为迁移假设,不是已验证的 EEG/BCI 结果;已有 EEG 相关工作尚未检索确认。

阅读价值

MORE 将长尾学习的干预对象从数据或类别损失扩展到参数空间分配,其低秩组件如何兼顾尾部类别泛化与推理成本值得核对,但具体收益和复杂度结论尚需全文验证。

来源:OpenReview · State space models · openreview.net