Mem-Rec:采用替代表示的内存高效推荐系统
Mem-Rec: Memory Efficient Recommendation System using Alternative Representation
基于摘要分析。本文研究深度学习推荐系统中高基数类别特征导致的嵌入表存储与访问开销,提出 MEM-REC,以替代表示压缩嵌入表,同时寻求维持推荐质量并降低嵌入延迟。主要研究对象是推荐系统,而非神经信号解码。 机制上,MEM-REC 使用 Bloom filters 和哈希方法,将类别特征编码到两个有利于缓存访问的嵌入表中:token embedding 表存储学习得到的向量表示;规模更小的 weight embedding 表存储缩放这些向量的权重,以增强不同数据点的可区分性。该方法依赖离散类别标识及其可学习嵌入,具体哈希配置、向量组合方式、训练目标与优化流程尚未验证。 作者报告,在 MLPerf CriteoTB benchmark 的 DLRM 模型上,相对于完整未压缩模型,MEM-REC 将模型大小压缩 2900 倍,在达到相同 AUC 的同时,嵌入操作最高加速 3.4 倍。此处加速针对嵌入操作,不能等同于端到端训练或推理加速;数据划分、硬件、计时口径、比较方法配置、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 模型确实存在占据主要内存的大规模离散 token 或码本嵌入表,该双表压缩机制可能具有复用价值;连续 EEG 输入本身不具备推荐系统的高基数类别结构,不能直接套用。可复用部分是哈希编码与加权嵌入,需改造部分是 EEG token 或码本到嵌入表的映射。低信噪比、小数据、被试及通道差异可能使哈希冲突造成的信息损失更难被训练补偿。一个可证伪的小实验是在已有离散 EEG token 模型中,仅替换嵌入层,在固定跨被试划分和相同训练预算下,比较未压缩表与 MEM-REC 式表示的任务指标、实际内存及嵌入延迟;若原嵌入表不是资源瓶颈,则迁移收益可能有限。已有 EEG 相关工作尚未检索确认。
值得关注其通过 Bloom filters、哈希与双嵌入表压缩高基数类别特征的机制,以及作者报告的内存、AUC 与嵌入延迟权衡;这些结果不构成 EEG 或 BCI 有效性的证据。
来源:OpenReview · Representation learning · openreview.net