跳到正文
OpenReview · Representation learning· Zhuang Liu; Ye Yuan; Zhilong Ji; Jinfeng Bai; Xiang Bai·· 2023-01-01精选AI 评分72

面向手写数学表达式识别的语义图表示学习

Semantic Graph Representation Learning for Handwritten Mathematical Expression Recognition

AI 导读

基于摘要分析。本文研究手写数学表达式识别(HMER)中符号关系难以被显式建模、相似符号容易混淆的问题,提出语义交互学习(SIL),利用符号共现先验增强识别模型对符号关系的理解;研究对象是手写数学表达式,而非 EEG 或 BCI。 方法首先依据符号共现概率构建语义图,再通过 semantic aware module(SAM)将视觉特征和分类特征投影到语义空间,以投影向量之间的余弦距离表征符号相关性,并联合优化 HMER 与 SIL。摘要未提供图的具体构建规则、损失形式或联合优化权重。其核心思路是在视觉识别之外显式引入符号关系约束;作者称 SAM 可接入现有基于注意力的 HMER 模型。 作者报告,在 CROHME 和 HME100K 数据集上,该模块能够提升识别性能,且优于既有方法;摘要未给出具体指标、数值、数据划分及对照模型,因此无法判断增益大小或不同设置下的稳定性。实验协议、消融及统计信息尚未验证。复现时需核对共现概率的统计来源、图与符号类别的对应方式,以及 SAM 的接入位置和训练设置。 平台推测(待验证):若 EEG/BCI 任务的输出符号或指令确实具有稳定的共现关系,可假设借用“关系图先验+特征投影约束”缓解类别混淆;但这依赖可靠的类别关系统计,不能直接照搬数学符号共现图。需将视觉特征接口改为 EEG 表征,并核对类别关系在跨被试、跨会话条件下是否稳定。低信噪比、小样本和通道差异可能使投影不可靠,先验也可能压制少见但正确的输出。可在具有明确输出关系的 EEG 任务中,以相同划分比较基础解码器、加入关系约束及随机关系图对照,仅用训练集估计关系,检验提升是否来自有效先验。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其将符号共现统计构建为语义图、并通过可插拔模块增强识别模型的机制,但摘要不足以核实增益幅度及其对 EEG/BCI 的适用性。

来源:OpenReview · Representation learning · openreview.net