跳到正文
OpenReview · Representation learning· Fan Liu; Huilin Chen; Zhiyong Cheng; Anan Liu; Liqiang Nie; Mohan Kankanhalli·· 2023-01-01精选AI 评分72

面向推荐的解耦多模态表征学习

Disentangled Multimodal Representation Learning for Recommendation

AI 导读

基于摘要分析。本文研究多模态推荐中,用户对物品不同因素的偏好如何受到不同模态信息的影响,提出 Disentangled Multimodal Representation Learning(DMRL),将因素级解耦表征与模态注意力结合,用于学习用户和物品表征并进行推荐。 核心机制是先在各模态内部学习不同因素的解耦表征,以促使因素特征相互独立,再通过多模态注意力估计用户在每个因素上对各模态的偏好权重,最后加权组合不同模态、不同因素对应的偏好分数。其主要区别在于,不仅考虑用户总体上偏好哪种模态,还建模这种偏好随物品因素变化的情况。摘要以用户评论和物品图像说明多模态侧信息,但未给出各实验的具体模态配置;解耦约束、损失形式及训练监督尚未验证。 作者报告,在五个真实世界数据集上的评估中,DMRL 优于所比较的现有方法。摘要未提供数据集名称、划分方式、指标、数值及基线细节,因此无法判断收益幅度或不同设置下的稳定性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):因素级解耦与条件化模态加权可作为多模态 EEG 研究的候选机制,但原问题依赖用户—物品关系及多模态侧信息,并非神经信号解码。迁移假设是,不同被试对不同任务因素的有效模态可能存在差异;可复用因素表征与注意力组合思路,但需改造时序编码器、条件变量和监督目标。低信噪比、跨被试差异、通道缺失与小样本均可能使解耦不稳定或注意力权重失真。一个可证伪的小实验是在固定 Cross-subject 划分下,对比简单模态融合、仅因素解耦、仅条件化模态注意力及二者结合,检验收益是否可重复。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 DMRL 如何将因素级解耦与用户条件化的模态注意力结合,以及解耦是否带来独立于注意力机制的收益;摘要中的推荐结果尚不能支持 EEG/BCI 有效性。

来源:OpenReview · Representation learning · openreview.net