面向大规模多标签文本分类的标签自适应表示学习
Learning Label-Adaptive Representation for Large-Scale Multi-Label Text Classification
基于摘要分析。本文研究大规模多标签文本分类(LMTC)中标签空间稀疏、多样且分布偏斜的问题,提出 LADAR,通过文本表示池与标签自适应匹配,为不同标签选择相关表示,而非让所有标签共享单一文本向量。 机制上,LADAR 汇集深度模型的多层特征与文本的多粒度特征,为每篇文本构建表示池,再将各标签自适应匹配到最相关的表示以预测分数。作者认为,单一文本向量难以泛化到多样标签,而逐标签注意力表示可能因过度强调尾部标签而限制整体表现。摘要未披露表示池的具体构建方式、匹配函数、损失或训练流程,其与上述对照策略的机制差异仍需正文核对。 作者报告,在五个基准数据集上,LADAR 优于所比较的先进 LMTC 方法;其中,在 Amazon-670 K 上,尾部标签相关指标 PSP@5 相对最佳基线提升 5.09%,这是相对提升而非百分点差。其余数据集名称、基线配置、数据划分、消融、统计信息及计算开销尚未验证。 平台推测(待验证):可迁移的机制假设是,以多层、多粒度表示池服务不同预测目标,可能有助于 EEG 中不同时间尺度或频段特征的选择。但原任务依赖文本输入和大规模多标签监督,不能据此推断其在 EEG/BCI 中有效;常见单标签 MI 分类也不直接对应这一设定。若探索迁移,可保留表示池与目标自适应匹配思路,改造文本编码和粒度划分模块,并先在具有可靠多标签标注的 EEG 任务中,以相同编码器和 Cross-subject 划分比较单一表示与自适应表示池。低信噪比、通道差异、标签共现偏差及小样本可能使匹配机制过拟合;已有 EEG 相关工作尚未检索确认。
值得核对 LADAR 如何通过多层、多粒度表示池与标签自适应匹配改善长尾标签预测,尤其是该机制相对单一文本表示和逐标签注意力表示的收益及计算代价。
来源:OpenReview · Representation learning · openreview.net