用于文本分类的描述增强标签嵌入对比学习
Description-Enhanced Label Embedding Contrastive Learning for Text Classification
基于摘要分析。本文研究文本分类中标签语义利用不足的问题,提出 relation of relation learning network(R²-Net),再利用 WordNet 提供的多方面标签描述,将其扩展为 description-enhanced label embedding network(DELE)。主要研究对象是自然语言文本分类,并非 EEG 或 BCI 解码。 机制上,R²-Net 从 one-hot 标签使用方式出发,构造自监督 relation of relation(R²)分类任务,将文本分类与 R² 分类共同作为优化目标,并引入 triplet loss,以加强对标签间差异与联系的建模。摘要未交代 R² 样本构造、三元组采样及各目标的具体组合方式。DELE 进一步引入 WordNet 标签描述学习语义表示,并通过基于对比学习的 mutual interaction module,同时从输入句子与标签描述中选择适当部分,以缓解细粒度描述可能带来的噪声。 作者报告,在多种文本分类任务上,R²-Net 能提升分类表现,DELE 可进一步利用标签信息并改善表现;摘要未提供数据集名称、数据划分、对照基线或具体指标,因此无法判断提升幅度与适用范围。作者称已发布代码,但所给材料未提供代码地址,复现入口、实验协议、消融及统计信息尚未验证。 平台推测(待验证):可检验的迁移假设是,具有清晰任务语义的 EEG 分类标签或可借助描述嵌入形成辅助监督。可复用候选为标签关系任务、标签嵌入及对比目标;需改造的是 EEG 编码器与信号—标签描述交互方式,因为 EEG 时间片段并不天然对应句子中的语义单元。该路径依赖可靠的标签描述和有标签 EEG 数据;低信噪比、跨被试差异、通道变化及小样本条件可能使语义先验与实际信号结构不匹配。小规模可证伪实验可在同一 EEG 编码器、固定被试内与跨被试划分下,比较 one-hot 分类、加入标签描述、打乱标签描述三种设置,检查收益是否确由语义对应产生。已有 EEG 相关工作尚未检索确认。
值得关注其从标签关系自监督到外部语义描述增强的设计路径,但其对 EEG/BCI 分类的价值尚未验证,需先核对关系任务构造与噪声抑制机制。
来源:OpenReview · Representation learning · openreview.net