多标签文本分类中的模型复杂度与标签结构正则化
Regularizing Model Complexity and Label Structure for Multi-Label Text Classification
基于摘要分析。本文研究多标签文本分类中的高维特征过拟合与标签依赖问题,贡献是联合使用训练阶段的模型复杂度正则化和预测阶段的标签结构正则化,而非提出 EEG/BCI 方法。 训练阶段,方法采用 Elastic-net(L1+L2)惩罚降低模型复杂度与规模,并通过 early stopping 抑制过拟合。预测阶段,support inference 将分布估计的支持集限制为训练中出现过的标签组合,再使用面向 F1 的 GFM 优化器生成预测。作者指出,尽管分布估计只覆盖已见标签组合,GFM 最终仍可输出未见组合,因此不能将这一机制理解为只能从训练标签集合中选择答案。 作者报告,该组合方法在多个基准数据集上达到当时的先进结果,但摘要未提供数据集名称、划分协议、具体分数及对照配置,无法据此量化收益。作者还认为,support inference 不只是近似推断程序,也能对标签预测结构施加强正则化,使训练时未显式建模标签依赖的分类器在预测时利用这些依赖。该解释及各模块的独立贡献仍需核对正文;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务具有真实的多标签标注、稳定的标签共现结构,且以 F1 为目标,可检验这种预测端正则化是否有助于缓解小样本条件下的组合预测不稳定。可复用部分是 Elastic-net、support inference 与 GFM;需改造的是 EEG 特征表示及标签分布估计。低信噪比、跨被试或跨通道差异可能削弱特征可靠性,小数据也可能使已见标签组合不能代表测试分布。一个可证伪的小实验是在固定 EEG 特征与分类器、相同跨被试划分下,比较启用与不启用 support inference/GFM 的 F1,并分别检查已见与未见标签组合的表现。已有 EEG 相关工作尚未检索确认。
值得核对的是 support inference 与 GFM 如何将标签分布估计限制在已见组合上、却仍允许输出未见组合,以及这种预测端正则化对 F1 的贡献;其 EEG/BCI 适用性尚未验证。
来源:OpenReview · State space models · openreview.net