跳到正文
OpenReview · Representation learning· Maciej Besta; Afonso Claudino Catarino; Lukas Gianinazzi; Nils Blach; Piotr Nyczyk; Hubert Niewiadomski; Torsten Hoefler·· 2023-11-18精选AI 评分72

HOT:利用高效 Transformer 的高阶动态图表示学习

HOT: Higher-Order Dynamic Graph Representation Learning with Efficient Transformers

AI 导读

基于摘要分析。本文研究动态图中的链接预测:根据图更新历史,预测给定顶点对是否会建立连接。作者提出 HOT,在将单次图更新作为 token 的 Transformer 路线中引入高阶图结构,并通过分层注意力缓解由此增加的内存压力。 核心机制是利用 k-hop 邻居及包含目标顶点对的更一般子图,将这些结构信息编码到 Transformer 的注意力矩阵中。与主要围绕单次更新建模的方案相比,HOT 的着眼点是显式利用更广的结构上下文;随后对注意力矩阵施加层次结构,以平衡预测准确率与内存占用。具体结构编码方式、层次构造、训练目标及复杂度尚未验证。 作者报告,在 MOOC 数据集的动态链接预测评估中,HOT 相较 DyGFormer、TGN、GraphMixer 的 Accuracy 分别高出 9%、7%、15%。摘要未明确这些百分比是相对提升还是百分点差异,也未给出数据划分、负样本构造及绝对分数,因此不能据此比较其他评估协议下的表现。作者还报告分层设计可显著降低内存占用,但摘要未提供具体内存测量;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将 EEG 通道或脑区作为节点、时变连接作为边,HOT 的高阶结构编码可能用于建模连接演化,但这是假设,不是已证实的 EEG 或 BCI 效果。其原方法依赖图更新历史及顶点对链接预测监督,迁移时需重新定义 EEG 连边、更新事件与预测目标;可考虑复用高阶结构编码及分层注意力,需改造信号到动态图的构建环节。低信噪比可能产生伪连接,通道布局差异可能破坏结构对应,小数据也可能不足以学习稳定模式。一个可检验的小实验是在固定 EEG 动态图构建与时间划分的条件下,对比加入和不加入高阶结构编码的链接预测表现及峰值内存,检验其是否带来稳定增益。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 HOT 如何将高阶子图结构编码进 Transformer 注意力矩阵,以及分层注意力在动态链接预测中能否兼顾预测准确率与内存开销;其对 EEG 动态图的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net