面向任意模态集合的多模态图表示学习

基于摘要分析。本文研究通用多模态表示融合，提出 CLARGA，旨在不改变底层框架的情况下处理不同数量和类型的模态，并将融合表示交给下游任务层。其主要研究对象是通用多模态学习，而非专门的 EEG 或 BCI 解码。 机制上，CLARGA 针对每个样本在模态特征之间构建注意力加权图，再通过多头 Graph Attention Network 传递消息，使不同样本能够形成不同的模态交互结构。模型使用可学习掩码适应模态输入缺失，并以监督任务损失与对比式 InfoNCE 损失组成混合训练目标。作者称该目标有助于跨模态一致性和噪声鲁棒性，并称融合复杂度随模态数量增长呈亚二次关系；具体图构建方式、复杂度推导及计算开销尚未验证。 作者报告，在覆盖金融、人机交互、通用多媒体分类和情感计算的 7 个数据集上，CLARGA 持续优于所比较的基线、作者所称的当前最优模型及消融配置，并在额外实验中表现出对输入缺失的鲁棒性。摘要未提供数据集名称、划分、指标、分数、缺失机制或噪声设置，因而无法判断提升幅度与适用边界；实验协议、消融及统计信息尚未验证，代码与复现条件亦尚未验证。 平台推测（待验证）：其逐样本模态交互和缺失输入处理机制，可能用于 EEG 与其他传感信号的融合。该假设依赖配对多模态样本、监督标签及足以学习交互关系的数据规模；图融合模块或可复用，但各模态编码器、时间对齐、掩码策略与 InfoNCE 配对方式需重新设计。低信噪比 EEG 可能导致图注意力追随伪相关，跨被试差异、通道变化和小样本也可能削弱泛化。可在固定跨被试划分下，以相同编码器比较 CLARGA 与简单拼接，并逐步增加测试时模态缺失，检验融合收益及其稳定性。已有 EEG 相关工作尚未检索确认。