面向点击率预测的对抗式多模态表示学习
Adversarial Multimodal Representation Learning for Click-Through Rate Prediction
基于摘要分析。本文研究电子商务点击率(CTR)预测中的商品多模态表示学习,提出 Multimodal Adversarial Representation Network(MARN),通过分别处理模态特异与模态不变特征,利用不同模态的互补信息并应对跨模态冗余。 作者认为,直接拼接多模态特征或使用注意力动态加权,未必能充分区分共享信息与各模态的独有贡献;尤其是冗余信息可能影响权重,使其不能准确反映模态的重要性。MARN 先由多模态注意力网络依据模态特异特征计算各商品的模态权重,再由引入双判别器策略的多模态对抗网络学习模态不变表示,最后组合两类表示形成商品表示。摘要未说明双判别器的具体职责、损失形式及训练流程,不能据此确定其解耦机制。 作者报告,在公共与工业数据集上,相对所比较方法取得一致改进,并已部署于实际电子商务系统,通过在线 A/B 测试进一步验证效果。摘要未提供数据集名称、指标数值、划分方式、基线配置或在线测试条件,改进幅度、实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,在具有配对多模态观测和任务监督的 EEG 融合任务中,按模态特异信息估计权重、同时保留共享表示,可能减少重复信息对融合的干扰。可复用的是特异/不变表示分开建模的思路;各模态编码器、时间对齐、判别器与训练目标均需适配。EEG 低信噪比、跨被试差异、通道变化及小样本可能导致对抗训练不稳定,或将任务相关差异误当作模态差异而抹除。一个可证伪的小实验是在同一配对 EEG 多模态数据与固定跨被试划分下,比较直接拼接、普通注意力及该分解思路,并通过移除不变表示分支检验其增益。原文未提供神经信号实验,相关 EEG 工作尚未检索确认。
值得核对 MARN 如何区分模态特异与模态不变信息,并据此缓解冗余信息对注意力权重的干扰;其对 EEG 多模态融合的价值尚未验证。
来源:OpenReview · Representation learning · openreview.net