图表示学习的可靠性基准评估
Benchmarking Reliability in Graph Representation Learning
基于摘要分析。本文研究图表示学习(GRL)方法在部署条件变化下的可靠性,提出多维评估基准 GRL-Reliability,以补充现有基准偏重干净条件下性能、迁移、适应和任务覆盖,而可靠性测试往往采用不同方法集合与协议的问题。 基准在二十五个图数据集上评估十二种代表性方法,覆盖仅利用拓扑的图嵌入、监督 GNN、自监督图模型及图基础模型(GFMs)。作者说明,评估采用标准化条件,同时在适用时保留方法原生的适应机制。五个评估维度分别为扰动鲁棒性、分布外(OOD)泛化、类别不平衡、公平性和可解释性;结果按维度及子条件呈现,不合成为单一总分。 作者报告,在上述方法集合与评估条件下,即使测试干预相同的图因素,也可能呈现不同的方法表现,说明相近测试并不等价;基础模型时代的方法表现出特定维度的优势,而非全面可靠性优势;节点度分布偏移与稀有类别覆盖仍是各类受评方法面临的难点。摘要未提供具体指标或性能差值,不能据此判断单个方法的优劣排序。 作者提供了基准、评估协议和代码的匿名链接,但其内容尚未核验。数据集构成、方法清单、划分方式、扰动设置、公平性与可解释性的操作定义,以及适应预算、消融和统计信息尚未验证。本文的主要对象是通用图表示学习可靠性,并非 EEG 或 BCI;摘要未提供神经信号实验,不能将上述结论直接视为 BCI 有效性证据。
该基准以统一评估条件对照多类 GRL 方法,并按可靠性维度及子条件分别报告,适合核查图基础模型的优势是否仅限特定部署条件,而非普遍可靠性提升。
来源:OpenReview · Representation learning · openreview.net