面向模态缺失的多模态联邦学习的跨模态生成先验学习

基于摘要分析。本文研究图像—文本多模态联邦学习中，成对监督集中于部分客户端、其余客户端仅观测单一模态的问题，提出 FedCGP：从成对观测学习条件特征先验，用于正则化模态不完整客户端的表征学习。 核心机制是使先验训练与本地学习实际使用的查询路径一致：仅在受扰动目标上训练去噪器，并不能保证其在独立高斯噪声初始化的查询下产生有用输出。成对客户端因此结合真实配对对齐、条件去噪，以及经单步查询施加的对比引导；不完整客户端固定先验、分离其输出的梯度，并结合真实监督目标更新已观测模态的编码器。分块聚合使先验仅由成对客户端学习，同时平衡两类客户端对共享表征的贡献。作者还分析了引导对归一化特征的影响，以及辅助梯度与真实任务学习的相互作用。 作者报告，在 Flickr30k 和 MS-COCO 上开展了联邦层面评估及生成器、查询路径的受控研究。在冻结特征的研究中，生成特征到真实特征的监督显著改善去噪器的对应关系，但确定性映射仍是有竞争力的替代方案；固定权重后，将已训练的单步查询替换为其他查询路径，会导致对应关系明显下降。这支持作者关于“查询过程属于学习接口一部分”的判断，但摘要未提供具体指标、数值、客户端划分及模态缺失比例，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 与另一模态的成对数据集中于少数客户端，该机制可能用于向单模态客户端传递配对监督。可复用查询对齐和选择性更新机制，但需改造模态编码器、条件先验及对齐目标；EEG 低信噪比、跨被试差异、通道配置差异和有限配对样本可能使先验产生失配监督。一个可证伪的小实验是在固定跨被试划分与配对比例下，对照无先验、确定性映射及查询对齐先验，并在固定权重时替换查询路径，分别检查特征对应关系与真实任务指标。已有 EEG 相关工作尚未检索确认。