跳到正文
OpenReview · Representation learning· Denghui Zhang; Yanchi Liu; Zixuan Yuan; Yanjie Fu; Haifeng Chen; Hui Xiong·· 2023-01-01精选AI 评分72

面向商品表示学习的多维知识驱动预训练

Multi-Faceted Knowledge-Driven Pre-Training for Product Representation Learning

AI 导读

基于摘要分析。该研究面向电商商品表示学习(PRL),针对既有方法上下文语义理解不足、表示难以迁移至新商品的问题,提出知识驱动预训练框架 KINDLE,将预训练语言模型(PLMs)与多维商品知识结合;主要研究对象是商品表示,而非 EEG 或 BCI。 机制上,KINDLE 将传统单阶段预训练扩展为两阶段框架,并使用专门的知识编码器促进知识向 PLM 的融合。其多目标异构嵌入方法用于表示数千个知识元素,以嵌入表示替代知识获取任务中彼此孤立的类别训练目标;作者认为这有助于自动调节知识噪声与稀疏性的影响。此外,输入感知门控网络根据输入,为不同下游任务选择相关知识。摘要未交代两个预训练阶段的具体划分、损失函数、知识来源及门控实现。 作者报告,KINDLE 在三个下游任务上优于所比较的先进基线。摘要将商品匹配、搜索和分类列为 PRL 的应用,但未明确三个评估任务是否恰好对应这三类应用,也未提供数据集、划分方式、指标或具体分数。实验协议、消融及统计信息尚未验证;复现还需核对预训练数据、知识构建流程,以及新商品迁移的评估设置。 平台推测(待验证):其知识编码与输入感知选择机制,可作为探索 EEG 表征与任务、通道等结构化元数据融合的假设,但需要将商品知识与文本输入替换为适配神经信号的数据和编码模块。元数据稀疏、通道不一致、跨被试差异及小数据条件都可能使门控失效。一个可证伪的小实验是在固定跨被试划分下,对比相同 EEG 编码器的不融合知识、直接融合知识与门控融合知识三种设置,并扰动元数据检验鲁棒性;这不是原论文已验证的结果,相关 EEG 工作尚未检索确认。

阅读价值

值得核对 KINDLE 如何通过两阶段预训练、异构知识嵌入与输入感知门控融合商品知识,尤其是知识噪声和稀疏性的处理机制;其优势目前仅有摘要层面的作者报告,尚不能据此判断 EEG/BCI 适用性。

来源:OpenReview · Representation learning · openreview.net