跳到正文
OpenReview · State space models· Jiaan Luo; Feng Hong; Qiang Hu; Xiaofeng Cao; Feng Liu; Jiangchao Yao·· 2025-09-19精选AI 评分73

通过模型再平衡实现长尾识别

Long-tailed Recognition with Model Rebalancing

AI 导读

基于摘要分析。本文研究深度学习及基础模型下游微调中的长尾识别问题,提出 Model Rebalancing(MORE),通过直接调整模型参数空间的分配缓解类别不平衡,目标是改善尾类泛化,并同时适用于多类别与多标签任务。 机制上,MORE 引入低秩参数组件,结合专门设计的损失与正弦重加权调度,引导参数空间分配。相较于数据增强、损失再平衡和解耦训练等路径,本文强调模型容量分配这一干预角度。摘要未说明低秩组件的具体结构、秩的选择、损失形式及调度作用对象,不能据此判断它如何改变各类别的有效容量。 作者报告,在覆盖多类别与多标签任务的多种长尾基准上,MORE 改善了泛化,尤其是尾类表现,并可补充现有不平衡缓解方法;作者同时声称其不增加整体模型复杂度或推理成本。摘要未提供数据集名称、划分、基线、具体指标或数值,实验协议、消融及统计信息尚未验证;复杂度与推理成本的核算方式也需查阅全文。 平台推测(待验证):若 EEG 分类任务存在明显类别长尾,参数空间再平衡可能成为损失重加权之外的补充,但这是假设,并非本文已证实的 EEG/BCI 效果。可复用方向是低秩参数组件及其训练调度,需适配 EEG 编码器和任务损失;低信噪比、少量尾类样本、跨被试差异及通道变化可能使类别不平衡与域偏移相互混杂。可在固定跨被试划分和类别不平衡设置下,对比相同 EEG 编码器、仅损失重加权及加入 MORE 的结果,核对尾类表现、总体 Balanced Accuracy 与推理成本。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是 MORE 将长尾学习的干预对象转向模型参数空间分配,并声称可与现有不平衡缓解方法互补;其尾类收益及推理成本不增加的结论仍需结合全文实验协议核对。

来源:OpenReview · State space models · openreview.net