跳到正文
OpenReview · Representation learning· Yifan Song; Peiyi Wang; Dawei Zhu; Tianyu Liu; Zhifang Sui; Sujian Li·· 2023-01-01精选AI 评分74

RepCL:探索持续文本分类的有效表征

RepCL: Exploring Effective Representation for Continual Text Classification

AI 导读

基于摘要分析。本文研究类别增量设置下的持续文本分类,关注当前任务学到的表征难以有效服务其他任务的“表征偏差”问题,提出基于回放的方法 RepCL,以保留更多类别相关信息并缓解灾难性遗忘。 机制上,作者从信息瓶颈视角分析表征偏差,提出更充分地提取类别相关信息有助于缓解该问题。RepCL 联合使用对比学习和生成式表征学习目标,并引入对抗回放策略,以缓解回放过程中的过拟合。摘要未提供目标函数、正负样本构造、生成目标、回放样本选择及对抗扰动的具体实现,相关机制仍需全文核对。 作者报告,在三个文本分类任务上,RepCL 能有效缓解遗忘,并取得作者所称的最先进性能。摘要未列出数据集名称、类别增量划分、回放预算、对照方法及数值指标;实验协议、消融及统计信息尚未验证,不能据此量化各模块的独立收益。 平台推测(待验证):其潜在迁移路径是类别增量 EEG 分类中,新类别学习可能削弱旧类别的判别表征,可借鉴类别相关表征学习与回放的组合,而不是直接套用文本模型。该方法依赖持续到来的带标签类别及可保留的历史样本;迁移时需替换文本编码与生成目标,并约束对抗扰动符合 EEG 信号特性。低信噪比、跨被试差异和小样本条件下,对比目标可能强化非任务因素,回放也可能过拟合特定被试或通道配置。一个可检验的小实验是在固定被试划分、类别到达顺序和回放预算下,对比基础回放与逐项加入表征目标、对抗回放的结果,分别观察旧类性能和新类学习效果。相关 EEG 工作尚未检索确认,文本任务结果不构成 BCI 有效性证据。

阅读价值

值得核对其信息瓶颈视角下的表征偏差分析,以及对比、生成式表征学习与对抗回放各自对遗忘的作用;摘要中的性能结论尚需结合具体评估协议验证。

来源:OpenReview · Representation learning · openreview.net