采用 Triplet Loss 的在线手写识别辅助跨模态表征学习

基于摘要分析。本文研究在线手写识别中图像与时间序列的跨模态表征学习（CMR-IS），以辅助图像分类任务的信息改善主要的时序分类任务。核心贡献是面向跨模态学习调整 triplet loss，并提出适用于单标签分类与序列到序列分类任务的动态间隔机制。 方法通过 contrastive loss 或 triplet loss，利用正负样本身份关系约束图像与时序模态的嵌入，使两种模态形成共享表征。摘要未给出动态间隔的计算方式、样本配对与挖掘规则、编码器结构，以及度量损失和任务损失的组合方式，这些实现细节尚未验证。 作者在合成图像与时序数据、离线手写识别数据，以及传感器增强笔采集的在线手写词语识别数据上开展评估。作者报告，相对于所用对照，跨模态表征带来了分类 Accuracy 改善、更快收敛和更好的泛化，并改善了在线手写识别中的书写者间适应；摘要未提供具体数值、对照方法、数据划分或书写者适应协议。实验协议、消融及统计信息尚未验证，也不能据此将书写者间适应直接等同于 EEG 的跨被试泛化。 平台推测（待验证）：其可迁移机制是利用具有语义对应关系的辅助模态，为噪声较大的时序信号提供度量学习约束，而非已验证的 BCI 方法。若用于 EEG，需要类别对应或配对的辅助图像及标签监督，并改造时序编码器、正负样本构造和动态间隔策略。低信噪比、跨被试差异、通道配置变化及小样本条件可能使距离约束学习到模态或被试差异，而非目标任务语义。一个可检验的小实验是在固定跨被试划分和相同 EEG 编码器下，对照仅 EEG 监督、固定间隔跨模态 triplet loss 与动态间隔版本，核对增益是否来自辅助监督及间隔机制；已有 EEG 相关工作尚未检索确认。