一人一模型一世界:无遗忘的持续用户表征学习
One Person, One Model, One World: Learning Continual User Representation without Forgetting
基于摘要分析。本文研究个性化推荐中的持续用户表征学习:同一用户在不同任务中可能具有共享的偏好与个性特征,但逐任务独立训练难以共享参数,连续训练又可能造成灾难性遗忘。作者提出 Conure,在单一模型中逐步学习新任务,同时保留服务旧任务的能力。 核心机制基于神经网络通常过参数化的假设:迭代移除旧任务中较不重要的权重,复用重要权重,并利用释放的权重容量适配新任务。其重点不是为每个任务建立独立模型,也不是合并所有任务数据后联合训练,而是在任务依次到达时协调参数复用与旧知识保留。摘要未交代权重重要性的计算方式、移除比例、具体保护规则、训练损失及推理时的任务选择方式,这些实现条件尚未验证。 作者报告,在两个真实世界数据集、共九个任务的实验中,Conure 明显优于未专门保护旧知识的标准模型;相较于各任务独立训练或合并任务数据同时训练的模型,其表现具有竞争力,部分情况下更好。摘要未提供数据集名称、任务顺序、划分、指标及具体数值,实验协议、消融及统计信息尚未验证,也不能据此断言所有任务均无性能退化。 平台推测(待验证):该参数保护与容量释放机制可能用于研究 EEG 解码跨会话持续适配中的遗忘问题,但推荐任务中的用户共享特征不等同于 EEG 的稳定神经表征。可复用的是权重重要性评估与参数分配思路,需改造信号编码器及任务定义;低信噪比、小样本和通道变化可能使重要性估计不稳定,任务持续增加也可能耗尽可用容量。一个可检验的小实验是固定同一被试的通道与解码任务,按会话顺序训练,对比普通连续微调与该参数保护策略,并在每步重新评估历史会话表现及新会话性能。上述迁移尚未验证,已有 EEG 相关工作尚未检索确认。
Conure 通过保留旧任务的重要权重、释放较不重要权重学习新任务,为考察用户表征的跨任务共享与灾难性遗忘提供了具体机制,但其保留效果及容量边界仍需核对全文实验。
来源:OpenReview · Representation learning · openreview.net