跳到正文
OpenReview · Representation learning· Tianli Zhang; Tongya Zheng; Zhenbang Xiao; Zulong Chen; Liangyue Li; Zunlei Feng; Dongxiang Zhang; Mingli Song·· 2024-01-01精选AI 评分72

语言模型增强的时序知识图谱外推语义拓扑表示学习

Language Models-enhanced Semantic Topology Representation Learning For Temporal Knowledge Graph Extrapolation

AI 导读

基于摘要分析。本文研究时序知识图谱(TKG)外推,即利用历史信息预测未来缺失事实,提出语言模型增强的 Semantic TOpology REpresentation learning(STORE)框架,尝试联合建模事件语义与图拓扑,而非直接研究 EEG 或 BCI。 核心机制包含三部分:利用语义先验进行时间感知采样,从较长历史中选取简洁且准确的事实;将图表示转换为虚拟 token,与生成的提示共同输入语言模型;采用多头注意力获得语义拓扑表示,并联合优化时序 GNN 与语言模型。其方法特点是为语言模型显式接入图结构表示,而不只依赖事实的语义表达。具体采样规则、虚拟 token 映射方式、提示构造、损失函数及训练参数范围尚未验证。 作者报告,在五个数据集的时序知识图谱外推实验中,STORE 优于所比较的 GNN 类与语言模型类方法。摘要未提供数据集名称、划分协议、评价指标、具体数值及统计不确定性,因此无法判断提升幅度或不同设置下的稳定性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务具有可明确构建的时序事件图及配套语义描述,可假设借鉴“图表示转虚拟 token”的接口融合结构与文本信息,但这不等同于对原始 EEG 波形建模有效。可复用的是图—语言模型接口,需改造的是 EEG 事件定义、图构建及时间采样;低信噪比可能造成伪事件与错误边,小数据、跨被试差异和通道变化也可能削弱语义先验的可靠性。一个可证伪的小实验是在固定跨被试划分下,比较图模型、仅文本提示及图虚拟 token 融合,并扰乱图边检验结构信息是否确有贡献。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其以虚拟 token 连接时序图表示与语言模型的具体机制,但摘要中的性能优势仍需结合数据划分、基线配置与消融实验核验,不能据此推断 EEG/BCI 有效性。

来源:OpenReview · Representation learning · openreview.net