面向点击率预测的对抗式多模态表示学习
Adversarial Multimodal Representation Learning for Click-Through Rate Prediction
基于摘要分析。本文研究电商点击率(CTR)预测中商品多模态特征的表示学习,提出 Multimodal Adversarial Representation Network(MARN),通过区别处理模态特异特征与模态不变特征,建模模态间的互补性与冗余性;研究对象不是 EEG 或 BCI。 作者认为,直接拼接特征或通过注意力动态分配模态权重,未必能妥善处理跨模态共享的冗余信息,后者可能干扰权重对各模态重要性的刻画。MARN 首先利用模态特异特征计算每个商品的模态注意力权重,再通过引入双判别器策略的多模态对抗网络学习模态不变表示,最终结合两类表示形成商品表示。摘要未给出双判别器的具体目标、损失形式及联合训练流程,尚不能判断其如何约束两类信息的分离。 作者报告,在公共及工业数据集上的实验中,该方法相对所比较的方法取得提升,并已部署至实际电商系统,线上 A/B 测试也支持其有效性。摘要未提供数据集名称、划分、对照配置、指标及提升幅度;实验协议、消融及统计信息尚未验证,不能据此量化收益或确认优势来自哪个模块。 平台推测(待验证):其可供考察的跨领域机制是,先用模态特异信息估计融合权重,再保留共享表示,可能有助于研究 EEG 与其他生理信号融合时的共享冗余与互补信息问题。该假设需要可关联的多模态样本及下游任务监督;可复用的是特异/不变表示与融合思路,编码器、对抗目标和任务输出仍需适配。低信噪比、跨被试分布差异、通道缺失及小数据可能使对抗约束误删任务相关信息或造成训练不稳定。一个可证伪的小实验是在固定跨被试划分下,对照直接拼接、常规注意力与该分解融合方案,并移除对抗模块进行消融,检验收益是否稳定。已有相关 EEG 工作尚未检索确认。
值得核对其利用模态特异特征计算注意力、再结合对抗学习所得模态不变表示的设计,尤其是共享冗余信息是否会干扰模态权重;其对 EEG 多模态融合的价值尚未验证。
来源:OpenReview · Representation learning · openreview.net