MMGRec:基于 Transformer 模型的多模态生成式推荐
MMGRec: Multimodal Generative Recommendation with Transformer Model
基于摘要分析。该研究面向多模态推荐:根据用户历史交互物品及其多模态信息推荐候选物品。MMGRec 将传统的“嵌入后检索”范式改为生成式推荐,通过构建物品 Rec-ID 并自回归生成其 token 元组来确定推荐对象,而非直接以用户与物品嵌入的内积检索候选。 核心机制包含两个环节。首先,Graph RQ-VAE 使用物品的多模态信息和协同过滤(CF)信息进行分层量化,为每个物品分配由具有语义含义的 token 组成的 Rec-ID,摘要将其描述为物品的唯一标识。随后,基于 Transformer 的推荐器利用历史交互序列预测目标物品的 Rec-ID。针对非序列交互,作者设计关系感知自注意力,以元素间的成对关系替代绝对位置编码。量化目标、关系计算方式、训练损失及生成约束尚未验证。 作者将传统范式的推理成本、交互建模和假负例问题作为研究动机,并报告通过广泛实验评估了 MMGRec 相对现有先进方法的有效性;摘要未提供数据集、划分、基线名称或具体指标,因此不能据此确认优势幅度或上述问题的改善程度。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其关系感知注意力可作为 EEG 无序通道或片段集合建模的候选机制,假设成对关系比任意绝对顺序更适合这类输入;但原研究依赖物品多模态信息、协同过滤信息和历史交互,不能直接等同于神经信号解码。可复用注意力思路,需改造 EEG token 化及关系定义;Graph RQ-VAE 的物品标识机制没有已证实的 BCI 对应。低信噪比、跨被试差异、通道布局变化及小数据可能导致关系估计不稳定。一个可检验的小实验是在固定 EEG 数据划分与相同骨干下,对比绝对位置编码和基于通道空间关系的注意力,并检查通道顺序扰动下的性能稳定性。已有相关 EEG 工作尚未检索确认。
值得阅读的是其以 Graph RQ-VAE 构造物品语义标识、再自回归生成推荐结果的机制,以及面向非序列交互的关系感知注意力;具体性能与 BCI 迁移价值尚未验证。
来源:OpenReview · State space models · openreview.net