MutualFormer：通过交叉扩散注意力进行多模态表征学习

基于摘要分析。该研究面向通用多模态表征学习，针对传统 Transformer 使用交叉注意力（CA）或简单拼接进行模态交互时对模态鸿沟考虑不足的问题，提出 MutualFormer，以交叉扩散注意力（CDA）替代 CA。 其核心机制是基于各模态内部的亲和关系（token 度量）定义跨模态亲和关系，而非直接依赖跨模态 token 特征计算 CA。作者认为，这种设计能够缓解模态或域差异。摘要还指出，CDA 既可用于多模态表征学习，也可作为现有 CA 模型的后优化模块，并称其实现高效；但具体扩散算子、训练目标、后优化流程及计算开销尚未验证。 作者报告，MutualFormer 在多个多模态学习任务上的实验显示有效性；摘要未给出任务名称、数据集、划分协议、对照基线或定量指标，无法据此判断收益幅度。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其与 EEG 多模态融合的潜在对应点，是以各模态内部关系辅助跨模态交互，而不是直接对齐分布差异较大的特征。该假设依赖各模态能够形成可靠的 token 亲和结构，并具备可定义的样本或时间对应关系；可考虑复用 CDA 思路，但需改造 EEG 的分段、token 构造、时间对齐与模态特异编码。低信噪比可能使亲和关系失真，被试差异、通道配置变化和小数据也可能削弱该机制。一个可证伪的小实验是在同一配对 EEG 多模态数据及固定跨被试划分下，保持编码器与训练预算一致，仅比较 CA 和 CDA，并检验加入 EEG 噪声后收益是否仍成立。相关 EEG 工作尚未检索确认，以上不构成已验证的 BCI 效果。