基于边增强图对齐网络与词对关系标注的联合多模态实体关系抽取

基于摘要分析。本文研究图文多模态知识图谱构建中的实体与关系抽取，提出联合多模态实体关系抽取任务（JMERE），并以边增强图对齐网络和词对关系标注方法（EEGA）联合处理多模态命名实体识别（MNER）与多模态关系抽取（MRE）。核心贡献是利用两项任务的双向交互，并将跨图对齐由实体与视觉对象的节点对应扩展到关系边的对应。 作者指出，分别处理 MNER 与 MRE 的方法会忽略任务间的双向交互；仅对齐视觉对象与文本实体的图对齐方式，则未充分利用实体—实体关系和对象—对象关系。EEGA 通过词对关系标注建模两项任务的交互，旨在避免误差传播；通过边增强图对齐同时对齐跨图节点与边，利用边信息辅助对象与实体的匹配，并寻找两类关系之间的关联。摘要未说明具体标注编码、图构建方式、对齐目标、损失函数或训练与推理流程。作者声称首次提出联合执行 MNER 与 MRE 的 JMERE 任务，该优先性尚未独立核验。 作者报告实验显示模型有效，但摘要未提供数据集、划分协议、对照基线、指标或数值，因此无法判断增益幅度及其适用条件；实验协议、消融及统计信息尚未验证，代码与复现条件也尚未验证。 本研究的主要对象是图文多模态信息抽取，而非 EEG 信号分析或 BCI。来源标签不能作为其 BCI 有效性的证据；当前材料没有建立图文实体关系结构与神经信号任务之间的具体机制对应，因此不提出 EEG 迁移结论或复现实验建议。已有 EEG 相关工作尚未检索确认。