跳到正文
OpenReview · Representation learning· Gopi Krishna Jha; Anthony Hitchcock Thomas; Nilesh Jain; Tajana Rosing; Sameh Gobriel; Ravishankar Iyer·· 2023-11-11精选AI 评分78

Mem-Rec:使用替代表示的内存高效推荐系统

Mem-Rec: Memory Efficient Recommendation System using Alternative Representation

AI 导读

基于摘要分析。该研究针对深度学习推荐系统中高基数类别特征导致的巨大嵌入表存储与访问开销,提出替代表示方法 MEM-REC,以 Bloom filters 和哈希编码配合两张缓存友好的嵌入表,在压缩存储的同时保持推荐质量。 原论文的主要研究对象是推荐系统,而非 EEG 或 BCI。其背景是类别特征可能具有数千万种不同取值,常规做法为各类别存储可学习向量,使嵌入表规模达到数百 GB。MEM-REC 的第一张表为 token embedding,存储可学习的原始嵌入;第二张较小的表为 weight embedding,存储用于缩放原始嵌入的权重,以增强各数据点的区分能力。摘要称论文提供了架构、设计与分析,讨论准确性和计算需求之间的权衡,但具体哈希配置、编码与聚合过程、训练细节尚未验证。 作者报告,在 MLPerf CriteoTB benchmark 的 DLRM 模型上,MEM-REC 将模型大小压缩 2900 倍,嵌入操作最高加速 3.4 倍,同时达到与完整未压缩模型相同的 AUC。这里的加速针对嵌入操作,不能直接解释为端到端训练或推理加速;AUC 保持也不等同于所有推荐指标均保持。摘要提及与先进技术比较,但未提供具体对照方法、AUC 数值、硬件环境或数据划分,实验协议、消融及统计信息尚未验证。 复现时需核对模型大小的统计范围、嵌入延迟的测量条件,以及压缩配置与 AUC 的对应关系。该方法依赖大规模离散类别特征及嵌入表访问这一问题结构,摘要未提供其与连续 EEG 信号建模的具体对应关系,因此不能据此推断 BCI 有效性;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 MEM-REC 如何以双嵌入表和哈希编码降低大规模推荐模型的存储与访问成本,尤其是作者报告的压缩率、嵌入加速与 AUC 保持之间的权衡。

来源:OpenReview · Representation learning · openreview.net