跳到正文
OpenReview · State space models· Zhengyi Yang; Jiancan Wu; Yanchen Luo; Jizhi Zhang; Yancheng Yuan; An Zhang; Xiang Wang; Xiangnan He·· 2023-01-01精选AI 评分71

大语言模型能够解释序列推荐器的潜在空间

Large Language Model Can Interpret Latent Space of Sequential Recommender

AI 导读

基于摘要分析。本文研究大语言模型能否理解基于离散 ID 的序列推荐器所学习的隐表示,提出 RecInterpreter,将用户交互序列表征转换为 LLM 可处理的输入,并通过生成物品文本描述检验其解释能力。主要研究对象是序列推荐与用户偏好表示,而非 EEG 或 BCI。 机制上,RecInterpreter 使用交互序列表征与文本叙述组成的多模态配对数据,通过轻量 adapter 将表征映射到 LLM 的 token embedding 空间。sequence-recovery prompt 引导 LLM 描述交互序列中的物品;sequence-residual prompt 则对比加入某个物品前后的序列表征,引导 LLM 识别该新增物品。后者提供了基于表征变化进行解释的具体机制,但摘要未说明 adapter 结构、损失函数、LLM 是否冻结及配对数据如何构造。 作者报告,在所述序列推荐实验中,RecInterpreter 使 LLaMA 能够理解基于 ID 的推荐器隐表示,尤其在 sequence-residual prompt 引导下表现更好;还可将 DreamRec 等生成式推荐器产生的 oracle items 具体化为物品。摘要未提供数据集、划分、对照基线、评价指标或分数,实验协议、消融及统计信息尚未验证。材料提供代码仓库地址,但代码完整性及复现条件尚未核对。 平台推测(待验证):其配对表征—文本对齐机制,可能用于检验 EEG 编码器的隐表示是否保留可语言化的任务信息。该假设依赖可靠的 EEG 表征与文本监督;可复用 adapter 对齐思路,但需改造输入与解释目标,不能将添加推荐物品直接等同于 EEG 神经活动变化。低信噪比、跨被试差异、通道变化和小规模配对数据可能导致模型依赖文本先验而非信号。一个可证伪的小实验是在固定 EEG 编码器和跨被试划分下,比较真实配对与随机打乱配对的解释正确率,检验输出是否依赖 EEG 表征。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是 RecInterpreter 将序列推荐器的隐表示映射到 LLM token embedding 空间,并通过序列恢复与序列残差提示检验其可解释性;作者报告的效果仍需结合完整实验协议核对,尚不能视为 EEG 表征解释能力的证据。

来源:OpenReview · State space models · openreview.net