CrossFormer：通过异构图 Transformer 进行跨模态表征学习

基于摘要分析。CrossFormer 面向跨模态表征学习，试图兼顾不同模态的异构性与细粒度交互：以异构图连接双流网络，通过双重位置编码和双流自注意力，在统一模块中学习模态内及模态间关联。 作者将现有方法分为两类：单流方法对拼接后的跨模态特征执行自注意力，能够同时学习两类关联，但作者认为这种处理忽略了模态差异；双流方法分别处理各模态，再进行融合交互，作者认为其难以在统一模块中整合细粒度关联。CrossFormer 先将多模态数据表示为异构图，再通过双重位置编码引入相对位置信息，最后在图上执行双流自注意力。摘要未说明图节点与边的构造、两类位置编码的具体定义、监督信号、损失函数或训练规模。 作者报告，该方法在多种跨模态任务的实验中表现优于对照方法，但摘要未列出任务、数据集、划分协议、基线或指标，无法据此判断收益大小与适用边界；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 与另一模态具有可定义的时间或事件对应关系，异构图可能为保留模态差异并建模跨模态关联提供一种机制。可考虑复用图交互框架，但需针对 EEG 的时间窗、通道组织和跨模态对齐方式改造图构造与位置编码。低信噪比可能引入不可靠关联，跨被试差异、通道变化及小数据条件也可能削弱收益。一个可证伪的小实验是在同一配对 EEG 多模态数据、固定被试划分和训练预算下，对比拼接式单流、后融合双流与异构图方案，并分别移除位置编码或跨模态边，检验增益是否来自所提机制。已有 EEG 相关工作尚未检索确认。