让深度发挥作用:面向深度推荐系统的互补表示学习
Making Depth Matter: Complementary Representation Learning for Deep Recommender Systems
基于摘要分析。本文研究推荐系统加深后性能不一定改善的问题,提出 DeCORA(Depthwise Correlation-Regularized Aggregation),将不同深度表示之间的相关性控制与深度前缀聚合结合,联合设计表示学习及复用机制。主要研究对象是推荐系统,而非 EEG 或 BCI。 机制上,DeCORA 是保留骨干原有交互算子的封装方法:根据 token 条件控制跨深度相关性,以仅在训练阶段使用的目标约束表示来源之间的相关性,配对权重可学习且经过归一化;聚合部分使用按深度设置、在不同来源间共享的映射,整合嵌入及当前可用的全部隐藏表示。作者的条件分析将相关性控制与坐标函数重叠及其经过仿射映射后的传递联系起来,讨论目标对齐和聚合后可访问性如何使不同响应对预测有用;不能将这一分析简化为“降低相关性必然提高性能”。 作者报告,在 Avazu 和 Criteo 上,针对四种结构不同的骨干,DeCORA 在从 Base 到 8× 深度的全部 40 个匹配配置中,相比原始骨干均改善 AUC 和 Logloss;在 8× 深度下,平均绝对 AUC 增益为 0.00156。在组件变体和参数匹配变体的比较中,只有完整方法在从 8× 加深至 16× 时,于全部八个骨干—数据集组合上均提高平均 AUC。作者还报告,表示诊断呈现出与理论分析动机一致的几何模式;这些结果尚不足以单独确立几何变化与性能收益的因果关系。 摘要称代码位于匿名仓库,但未提供可核验的具体地址。骨干名称、数据划分、各配置结果、超参数、训练成本、消融细节及统计信息尚未验证。 平台推测(待验证):其可迁移假设是,跨深度表示复用配合相关性控制,可能缓解深层 EEG 模型的表示冗余;这不等于已证实的 BCI 效果。可复用部分是训练期相关性约束与深度聚合框架,但需重新定义 EEG 的 token、表示来源和聚合接口。低信噪比、通道差异与小数据可能使相关性估计不稳定,强行分离表示也可能损伤共同任务信息。一个可证伪的小实验是在固定 EEG 任务、骨干、被试内及跨被试划分下,对比原始模型、仅约束、仅聚合和完整方法,同时控制参数量并检查预测指标与表示冗余是否共同改善。已有相关 EEG 工作尚未检索确认。
值得核对其相关性约束与跨深度聚合如何共同改善深层表示的可用性,摘要提供了多骨干及参数匹配对照的线索,但其对 EEG/BCI 的价值尚未验证。
来源:OpenReview · Representation learning · openreview.net