面向生成式多模态推荐的个性化视觉表示对齐
Personalized Visual Representation Alignment for Generative Multimodal Recommendation
基于摘要分析。本文研究生成式多模态推荐中视觉表示难以捕获个性化偏好、且视觉信息在 VLM 后续 LLM 层中贡献不足的问题,提出 PerVRA,通过个性化视觉表示学习与视觉—文本对齐两个模块增强用户交互历史中的视觉信息利用。 作者指出,CLIP 等视觉编码器主要面向通用视觉感知,其直接提取的特征不一定能表达用户特定偏好;现有 VLM 推荐方法还可能偏重文本描述,未充分利用用户交互物品的视觉特征。PerVRA 包含 Personalized Visual Representation Learning(PVRL)和 Personalized Multimodal Alignment(PMA)两个模块,分别配置对比学习目标:PVRL 从用户交互历史中学习个性化视觉特征,PMA 显式对齐视觉与文本特征,以增强视觉信息对 VLM 推荐的贡献。摘要未披露正负样本构造、损失具体形式、对齐位置及训练参数范围。 作者报告,在真实世界 Amazon 与 H&M Fashion 数据集上的多种个性化任务中,PerVRA 持续优于较强的 VLM 推荐方法,并称消融实验支持同时处理上述两个问题的重要性。摘要未提供具体任务、数据划分、基线版本、评价指标或数值,实验协议、消融及统计信息尚未验证,因而目前无法核对性能增益及其适用边界。 本研究的主要对象是依赖用户—物品交互历史及图文内容的推荐系统,而非神经信号解码。摘要未建立用户偏好个性化与 EEG 跨被试差异之间的机制对应,不能将其直接视为 BCI 个性化方法;已有 EEG 相关工作尚未检索确认。复现前需取得全文,核对交互数据组织、对比学习采样方式、视觉与文本输入配置及训练和评估流程。
值得关注其将用户偏好相关的视觉表示学习与视觉—文本对齐分别建模的机制,但推荐性能及模块贡献目前仅有摘要中的作者报告,尚不能据此推断 EEG/BCI 有效性。
来源:OpenReview · Representation learning · openreview.net