DUET:用于全空间点击率预测的双模型协同训练
DUET: Dual Model Co-Training for Entire Space CTR Prediction
基于摘要分析。本文研究大规模推荐系统预排序中的表达能力与计算效率权衡,以及曝光数据训练带来的样本选择偏差(Sample Selection Bias,SSB)。作者提出 DUET,以候选集合为单位预测点击率(CTR),并通过双模型协同训练将监督扩展至未曝光候选项;主要研究对象是推荐系统,而非 EEG 或 BCI。 机制上,DUET 不再独立为每个候选项评分,而是在一次前向传播中对整个候选子集进行集合级预测,使候选项之间能够交换信息,建模协同与抑制关系,并将计算成本分摊到集合内。双模型通过相互细化伪标签,为未曝光候选项提供训练信号,以缓解曝光空间与更大候选空间之间的分布差异。摘要未给出集合编码方式、模型结构、损失函数、伪标签筛选规则或计算复杂度,相关细节尚未验证。 作者报告,在离线实验和在线 A/B 测试中,DUET 优于所比较的先进基线,并改善多项核心业务指标;但摘要未提供数据集、划分、基线名称、指标数值及延迟测量条件,无法据此量化收益或核对比较协议。作者还报告,该框架已在 Kuaishou 与 Kuaishou Lite Apps 全量部署,服务数亿用户的主要流量;部署规模不等同于可独立复核的算法增益。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设主要是双模型伪标签细化,而非推荐候选集合交互本身。若 EEG 任务具有少量标注与较多未标注数据,该机制可能用于研究分布偏移下的协同训练;但未曝光点击标签与未标注 EEG 的生成机制不同,不能直接等同。可复用协同训练思路,需改造 EEG 编码器、类别置信度校准及伪标签筛选;低信噪比、跨被试差异、通道变化和小样本可能使两模型共同放大错误。一个可检验的小实验是在固定跨被试划分下,仅使用目标被试未标注数据进行适应,对比单模型自训练与双模型相互细化伪标签,并保持编码器和训练预算一致。已有 EEG 相关工作尚未检索确认。
值得关注的是 DUET 将候选集合交互与未曝光样本的双模型伪标签协同训练结合,用于处理预排序的效率与样本选择偏差问题;具体收益及其对 EEG 的适用性尚未验证。
来源:OpenReview · State space models · openreview.net