跳到正文
OpenReview · Representation learning· Zhuang Liu; Ye Yuan; Zhilong Ji; Jingfeng Bai; Xiang Bai·· 2023-01-01精选AI 评分72

面向手写数学表达式识别的语义图表示学习

Semantic Graph Representation Learning for Handwritten Mathematical Expression Recognition

AI 导读

基于摘要分析。该研究面向手写数学表达式识别(HMER),针对现有方法难以显式建模符号间交互、易混淆相似符号的问题,提出语义交互学习(SIL),通过符号共现语义图与语义感知模块(SAM)增强符号关系建模。 方法首先依据统计得到的符号共现概率构建语义图,再利用 SAM 将视觉特征与分类特征投影到语义空间,以不同投影向量之间的余弦距离表征符号相关性,并联合优化 HMER 与 SIL。摘要未给出语义图如何参与具体优化、损失函数形式及共现统计的计算范围,这些实现细节尚未验证。作者称 SAM 可插入现有基于注意力的 HMER 模型。 作者报告,在 CROHME 与 HME100K 数据集上,该方法较既有方法获得更好的识别表现,并能持续改善所接入模型的性能;摘要未提供具体指标、数值、数据划分和对照配置,因而不能量化提升或跨协议比较。实验协议、消融及统计信息尚未验证。复现时需核对共现图的构建数据范围、语义约束的优化方式,以及不同骨干模型上的增益。 平台推测(待验证):若 EEG 任务具有明确的类别共现或序列转移结构,可假设复用“关系图先验+特征语义投影”的机制,缓解局部信号含混;但需将图像特征模块替换为 EEG 编码器,并重新定义符合任务的关系图。独立试次分类未必具有可用的共现结构,低信噪比、跨被试差异、通道变化与小数据统计偏差也可能使图先验失效。一个可检验的小实验是在具备真实序列结构的 EEG 任务中,固定编码器与数据划分,对照无图约束、真实关系图与打乱关系图,检查增益是否确由关系结构带来。原论文结果不构成 EEG/BCI 有效性证据,相关 EEG 工作尚未检索确认。

阅读价值

值得关注的是将统计符号共现关系构造成语义图,并以可插拔模块联合约束视觉识别与符号关系学习;其改进幅度及对符号先验的依赖仍需核对全文。

来源:OpenReview · Representation learning · openreview.net