HOT:基于高效 Transformer 的高阶动态图表示学习
HOT: Higher-Order Dynamic Graph Representation Learning With Efficient Transformers
基于摘要分析。本文研究动态图中的链接预测:根据图更新历史,预测给定顶点对是否将建立连接。作者提出 HOT,在以图更新为 token 的 Transformer 建模框架中引入高阶图结构,并通过层次化注意力缓解额外的内存压力。 核心机制是利用 k-hop 邻居及包含目标顶点对的更一般子图,将这些高阶结构编码到 Transformer 的注意力矩阵中。其动机是补充单个图更新 token 难以直接表达的结构信息;针对高阶编码增加内存开销的问题,HOT 采用对注意力矩阵施加层次结构的方案。具体结构编码、层次划分、训练目标与复杂度尚未验证。 作者报告,在 MOOC 数据集的动态链接预测评估中,HOT 的 Accuracy 相较 DyGFormer、TGN 和 GraphMixer 分别高出 9%、7% 和 15%。摘要未给出绝对分数、百分比计算口径、数据划分及负样本构造,不能将这些数字改写为百分点,也不能外推到其他评估协议。作者称该设计兼顾预测准确性与较低内存占用,但摘要未提供内存测量数据;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 被表示为随时间更新的通道连接图,HOT 的高阶结构编码可能用于捕捉多通道连接上下文,但这一假设依赖可靠的动态图构建及明确的链接监督,并不等于原方法已适用于 BCI。可复用的是结构编码与层次化注意力思路,需要改造的是通道节点定义、连接估计和更新事件生成。低信噪比可能制造伪连接,跨被试通道差异及小数据也可能削弱效果。一个可证伪的小实验是在固定 EEG 图构建和时间划分下,对比加入与不加入高阶编码的动态链接预测性能及峰值内存;该结果仍不能替代 BCI 任务验证。已有 EEG 相关工作尚未检索确认。
值得核对 HOT 将高阶子图结构编码进注意力矩阵、再以层次化注意力降低内存占用的具体实现及精度—内存权衡,但其对 EEG 动态连接建模的价值尚未验证。
来源:OpenReview · Representation learning · openreview.net