跳到正文
OpenReview · Representation learning· Xiaoxin He; Xavier Bresson; Thomas Laurent; Adam Perold; Yann LeCun; Bryan Hooi·· 2024-01-16精选AI 评分76

利用解释:用于增强文本属性图表示学习的 LLM-to-LM 解释器

Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning

AI 导读

基于摘要分析。本文研究文本属性图(TAG)的表示学习,例如以论文为节点、引用关系为边、论文文本为节点属性的图,核心贡献是将 LLM 生成的分类解释转换为特征,供下游 GNN 使用,而非直接研究 EEG 或 BCI。 方法以“解释作为特征”为核心:提示 LLM 执行零样本分类并生成决策的文本解释,再通过 LLM-to-LM interpreter 将解释转化为信息特征,结合 GNN 的图结构学习能力完成下游任务。该路径区别于使用 skip-gram、bag-of-words 等浅层文本特征,也旨在缓解既有 LM 与 GNN 结合方案设计复杂、计算开销较大的问题。解释器的具体结构、训练目标、监督来源以及推理流程,摘要未提供,尚未验证。 作者报告,该方法在 Cora、PubMed、ogbn-arxiv 及新引入的 tape-arxiv23 上取得最先进结果;但摘要未列出任务指标、具体分数、数据划分及对照配置,不能据此量化性能优势。作者另报告,在 ogbn-arxiv 上相对最接近的基线获得 2.88 倍训练加速;基线名称、硬件、计时范围,以及是否计入 LLM 解释生成成本均需核对。摘要提供了代码与数据仓库,但其可用性、版本及复现条件尚未验证,实验协议、消融及统计信息也尚未验证。 平台推测(待验证):若 EEG 研究已有与信号样本对齐的文本描述、明确标签语义及有依据的图关系,可假设复用“解释生成—特征转换”模块,将其作为信号模型的辅助信息;文本解释不能替代 EEG 编码,图构建与跨模态对齐需要另行设计。原方法依赖文本属性和图结构,是否依赖较大规模数据及额外监督尚不明确。低信噪比、跨被试差异、通道变化和小样本可能使文本先验压过真实信号。可在固定跨被试划分下,对比仅信号、原始文本辅助和解释特征辅助,并用打乱文本对应关系检验增益是否来自有效对齐。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其“解释作为特征”的 LLM-to-LM 转换机制及计算成本核算:它提供了将 LLM 文本信息接入 GNN 的具体路径,但摘要中的性能与训练加速结论仍需结合完整协议验证。

来源:OpenReview · Representation learning · openreview.net