Mem-Rec:使用替代表示的内存高效推荐系统
Mem-Rec: Memory Efficient Recommendation System using Alternative Representation
基于摘要分析。本文研究深度学习推荐系统中高基数类别特征导致的嵌入表存储与访问开销,提出 MEM-REC,以 Bloom filters 和哈希方法构建替代表示,在压缩嵌入存储的同时维持推荐质量并降低嵌入延迟。 现代推荐系统的类别特征可具有数千万种取值,常规方法为各类别学习向量并存入大型嵌入表,存储规模可达数百 GB。MEM-REC 将类别特征编码到两张有利于缓存访问的嵌入表:token embedding 表保存可学习的原始向量;规模更小的 weight embedding 表保存缩放这些向量的权重,以增强各数据点的可区分性。其核心是以共享表示降低存储需求,再通过可学习权重补充区分能力;具体哈希配置、向量组合方式及训练细节尚未验证。 作者报告,在 MLPerf CriteoTB benchmark 的 DLRM 模型上,相比完整未压缩模型,MEM-REC 将模型大小压缩 2900 倍,嵌入操作最高加速 3.4 倍,同时达到相同 AUC。这里的加速针对嵌入操作,不能解释为端到端训练或推理加速;摘要未提供绝对 AUC、硬件配置、数据划分及各结果对应的具体配置。作者称提供了架构、设计及准确性与计算需求的权衡分析,但实验协议、消融及统计信息尚未验证。 该方法依赖大规模离散类别及嵌入表,而非直接处理连续 EEG 时序。摘要未建立其与 EEG 或 BCI 瓶颈的具体对应关系,因此不据此推导神经信号解码收益或提出迁移实验;已有 EEG 相关工作尚未检索确认。复现时应重点核对压缩倍数的统计范围、哈希冲突处理、权重表开销,以及嵌入延迟的测量条件。
值得核对其如何通过哈希共享表示与可学习缩放权重压缩大规模推荐嵌入表,以及在保持 AUC 的条件下实现内存与嵌入延迟的权衡;这些结果不构成 EEG 或 BCI 有效性的证据。
来源:OpenReview · Representation learning · openreview.net