跳到正文
OpenReview · Representation learning· Kangning Zhang; Jiarui Jin; Yingjie Qin; Ruilong Su; Jianghao Lin; Yong Yu; Weinan Zhang·· 2024-01-01精选AI 评分74

通过 Token 交叉学习用于多模态推荐的无 ID 物品表示

Learning ID-free Item Representation with Token Crossing for Multimodal Recommendation

AI 导读

基于摘要分析。本文研究多模态推荐中物品专属 ID 嵌入在交互数据稀疏、相关物品信息共享及存储规模方面的局限,提出无 ID 多模态 token 表示方案 MOTOR,以共享 token 构建物品表示并替代原有 ID 嵌入。 机制上,MOTOR 首先通过乘积量化,将物品的图像、文本等多模态特征离散化为 token ID;随后将对应的可学习 token 嵌入作为隐式物品特征,利用 Token Cross Network 捕捉 token 之间的隐式交互模式。这里的“无 ID”指不再依赖物品专属 ID 嵌入,并非完全不使用离散标识。其核心是让相关物品通过共享 token 交换信息,生成可接入原有基于 ID 的多模态推荐模型的表示;作者称这一替换无需额外设计损失。 作者报告,在九种主流模型上的实验表明 MOTOR 能提升推荐性能并降低总体空间需求。摘要未提供具体数据集、交互稀疏度、划分方式、评价指标、提升幅度及存储测量条件,因此无法判断不同场景下的收益大小;量化配置、Token Cross Network 结构、消融及统计信息尚未验证。 平台推测(待验证):可迁移的机制是以共享离散表示代替实体专属嵌入,而不是直接复用推荐任务。若某类 EEG 建模确实依赖被试或通道专属嵌入,可假设共享量化 token 有助于减少参数并促进信息共享;但需改造 EEG 特征编码、量化方式及任务输出,推荐中的用户—物品交互监督不能直接照搬。低信噪比、跨被试分布差异和小数据可能使码本不稳定,或使量化丢失关键时序信息。一个可证伪的小实验是在固定的跨被试协议下,仅用训练被试拟合码本,对比专属嵌入、共享量化 token 及加入 Token Cross Network 的版本,同时记录任务指标与存储开销。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以量化后的共享多模态 token 替代物品专属 ID 嵌入的机制,但摘要中的推荐性能与空间开销结论仍需结合完整实验协议核对,尚不能视为 EEG/BCI 有效性的证据。

来源:OpenReview · Representation learning · openreview.net