知识图谱表示学习的 PAC-Bayesian 泛化界
PAC-Bayesian Generalization Bounds for Knowledge Graph Representation Learning
基于摘要分析。本文针对知识图谱表示学习(KGRL)理论分析相对不足的问题,提出统一框架 ReED(Relation-aware Encoder-Decoder),并为该框架推导 PAC-Bayesian 泛化界。作者称这是面向 KGRL 方法的首个此类泛化界;研究对象是知识图谱表示学习,而非 EEG 或 BCI。 ReED 由关系感知的消息传递编码器和三元组分类解码器组成。作者报告,该框架可表达至少 15 种已有 KGRL 模型,既包括 R-GCN、CompGCN 等图神经网络模型,也包括 RotatE、ANALOGY 等浅层架构模型。其贡献重点是统一刻画不同模型并分析泛化行为,而非单独提出一种新的预测架构。 作者认为,所推导的泛化界为参数共享、权重归一化等常用设计提供了理论依据,并可指导模型设计。作者报告,在三个真实世界知识图谱上的实验中,泛化界中的关键因素能够解释实际泛化误差。摘要未提供数据集名称、划分协议、误差指标、具体数值及对照设置,因此不能据此判断解释力的强弱,也不能将其等同于预测性能提升。界的具体形式、适用假设、非空泛程度,以及实验协议、消融及统计信息尚未验证。 与 EEG/BCI 的联系目前仅具条件性:平台推测(待验证),若任务将神经数据明确组织为带关系类型的图,并以三元组分类为目标,ReED 的理论分析可能提供参考;普通 EEG 分类并不天然满足这一设定。摘要不足以支持直接迁移到低信噪比、跨被试或小样本场景,已有 EEG 相关工作尚未检索确认。
值得关注其用统一的 ReED 框架分析多类 KGRL 模型,并将 PAC-Bayesian 泛化界与参数共享、权重归一化等设计选择联系起来;具体理论条件及实证解释力仍需全文核对。
来源:OpenReview · Representation learning · openreview.net