HierPromptLM:基于纯 PLM 的异构富文本网络表示学习框架
HierPromptLM: A Pure PLM-based Framework for Representation Learning on Heterogeneous Text-rich Networks
基于摘要分析。HierPromptLM 面向异构富文本网络(HTRNs)的表示学习:这类网络包含多种节点与边,且各节点附有文本信息。研究提出纯预训练语言模型(PLM)框架,在统一文本空间中联合建模文本与图结构,旨在避免分别编码后再进行嵌入对齐的困难。 核心机制是 Hierarchical Prompt 模块,通过提示学习在节点和边两个层级整合文本信息与异构图结构。在此基础上,作者设计了两项面向 HTRN 的预训练任务,用于微调 PLM,强调网络异质性以及文本与结构之间的交互。摘要未披露这两项任务的具体定义、损失函数、提示构造与结构序列化方式,因而尚不能判断其如何保留不同关系类型及邻域信息。 与分别使用 PLM 和异构图神经网络(HGNN)处理文本与结构的方法相比,该框架的主要区别在于统一表示空间,而非在两个独立嵌入空间之间额外对齐。作者报告,在两个真实世界 HTRN 数据集上,节点分类和链接预测相对所比较方法的提升最高分别为 6.08% 和 10.84%。摘要未给出数据集名称、具体指标、对应基线、数据划分及提升计算口径,不能将这些数字解释为准确率提升或百分点变化;“优于现有先进方法”也仅为作者报告。 复现前需核对基础 PLM、两项预训练任务、图结构到提示的映射、采样策略、训练成本,以及评估协议、消融和统计信息;上述内容尚未验证。该研究的主要对象是文本关联的异构网络,并非 EEG 或 BCI。摘要未提供神经信号实验,不能据此推断其对跨被试、跨会话或低信噪比 EEG 的有效性。
值得关注的是将节点文本与异构图结构统一编码到 PLM 文本空间的机制;作者报告了节点分类和链接预测的收益,但具体预训练任务、比较协议及提升口径仍需全文核对。
来源:OpenReview · Representation learning · openreview.net