MutualFormer：基于互 Transformer 的多模态表示学习

基于摘要分析。该研究针对多模态表示学习中直接跨模态特征交互可能受模态差异影响的问题，提出 MutualFormer，以 Cross-Diffusion Attention（CDA）替代常见的 Cross-Attention（CA），在不同模态之间传递信息。原论文主要研究对象是视觉多模态任务，而非 EEG 或 BCI。 机制上，CDA 根据度量空间中各模态自身的亲和关系构造跨模态亲和关系，而非直接依据不同模态的特征定义 CA。作者认为，这种设计能够规避基于特征的 CA 所面临的模态或域差异问题，并可用于多模态表示学习，或作为既有 CA 模型的后优化模块。作者还称该模块实现高效，但摘要未给出具体构造公式、计算复杂度或运行开销，相关主张尚待全文核对。 作者报告，MutualFormer 在 RGB-Depth SOD 与 RGB-NIR object ReID 任务上的实验支持其有效性。摘要未提供数据集、划分、对照方法及具体指标，因此无法判断收益大小或不同条件下的稳定性；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 与另一同步模态能分别形成稳定、可对应的样本或时间片亲和结构，CDA 的关系级交互可能为跨模态特征差异提供一种处理路径。可考虑复用亲和关系交互模块，但需改造信号编码、时间对齐和亲和关系估计；其监督需求与训练规模尚未验证。低信噪比、小数据、被试差异及通道变化可能使 EEG 模态内亲和关系本身不可靠。一个可检验的小实验是在固定编码器与训练设置下，对同步 EEG 多模态数据比较拼接、CA 与 CDA，并按被试独立划分评估，同时扰动模态对齐以检验收益是否依赖真实对应关系。该假设不代表已证实的 BCI 效果，已有 EEG 相关工作尚未检索确认。