跳到正文
OpenReview · Representation learning· Wei Yang; Qingchen Yang; Yiqun Chen; Chi Lu·· 2023-09-20精选AI 评分71

面向多模态推荐的多兴趣解耦表征学习

Multi-interest Disentangled Representation Learning for Multimodal Recommendation

AI 导读

基于摘要分析。本文研究多模态推荐中如何利用用户的多种个性化兴趣,并减少模态噪声的干扰,提出 Multi-interest Disentangled Representation Learning(MIDR)。主要贡献是结合多兴趣优化目标、模态共享与模态特异兴趣的解耦表征,以及自监督兴趣对比模块。 机制方面,作者首先引入摘要所称的“expected maximum”,描述兴趣与预测目标之间的关系并建立多兴趣推荐优化目标;其具体数学定义尚未验证,不能据此认定采用了某种特定优化算法。随后,MIDR 通过解耦表征学习提取模态共享和模态特异的兴趣表示,并用多兴趣对比模块辅助自监督表征学习。摘要未提供编码器结构、共享与特异成分的约束方式、对比样本构造或损失公式。 作者报告,在三个真实世界数据集上,MIDR 优于所比较的先进模型,并通过消融实验验证了解耦兴趣表征模块和兴趣对比模块的有效性。摘要未给出数据集名称、划分协议、基线名称、评价指标或数值,因此无法核对优势幅度及比较条件;实验协议、消融及统计信息尚未验证。代码与复现配置亦尚未验证。 平台推测(待验证):可迁移的假设是,共享与特异表征分离可能帮助 EEG 多模态建模区分跨模态共同信息与各模态独有信息,但原论文的用户兴趣和推荐目标并不等同于神经状态或 BCI 任务标签。迁移需要明确的配对或同步多模态数据,并核对原方法依赖的交互监督与样本规模;可考虑复用解耦和对比学习思路,但编码器、训练目标及正负样本构造需要改造。EEG 低信噪比、被试差异、通道变化和小数据可能使特异表征吸收伪迹,或使共享约束抹去有效信号。一个可证伪的小实验是在固定的跨被试 EEG 多模态任务上,对比普通融合、加入解耦、加入对比模块及完整组合,在相同数据划分和训练预算下检验任务表现与噪声扰动鲁棒性。相关 EEG 工作尚未检索确认,此建议不构成已验证的 BCI 效果。

阅读价值

值得阅读的是 MIDR 对模态共享与模态特异兴趣的解耦及自监督对比机制,但其推荐性能优势仅有摘要中的作者报告,对 EEG 多模态表征的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net